コード例 #1
0
func init() {
	registry.RegisterTokenizer(Name, RegexpTokenizerConstructor)
}
コード例 #2
0
ファイル: single_token.go プロジェクト: postfix/name_pending 
func init() {
	registry.RegisterTokenizer(Name, SingleTokenTokenizerConstructor)
}
コード例 #3
0
ファイル: boundary.go プロジェクト: postfix/name_pending 
func init() {
	registry.RegisterTokenizer(Name, UnicodeWordBoundaryTokenizerConstructor)
}
コード例 #4
0
ファイル: exception.go プロジェクト: postfix/name_pending 
func init() {
	registry.RegisterTokenizer(Name, ExceptionsTokenizerConstructor)
}
コード例 #5
0
ファイル: unicode.go プロジェクト: postfix/name_pending 
func init() {
	registry.RegisterTokenizer(Name, UnicodeTokenizerConstructor)
}
コード例 #6
0
func init() {
	registry.RegisterTokenizer(TokenizerName, KagomeMorphTokenizerConstructor)
}