func init() { registry.RegisterTokenizer(Name, RegexpTokenizerConstructor) }
func init() { registry.RegisterTokenizer(Name, SingleTokenTokenizerConstructor) }
func init() { registry.RegisterTokenizer(Name, UnicodeWordBoundaryTokenizerConstructor) }
func init() { registry.RegisterTokenizer(Name, ExceptionsTokenizerConstructor) }
func init() { registry.RegisterTokenizer(Name, UnicodeTokenizerConstructor) }
func init() { registry.RegisterTokenizer(TokenizerName, KagomeMorphTokenizerConstructor) }