Beispiel #1
0
func NewKagomeMorphTokenizerWithUserDic(userdic tokenizer.UserDic) *KagomeMorphTokenizer {
	k := tokenizer.New()
	k.SetUserDic(userdic)
	return &KagomeMorphTokenizer{
		tok: k,
	}
}
Beispiel #2
0
func NewKagomeMorphTokenizer() *KagomeMorphTokenizer {
	return &KagomeMorphTokenizer{
		tok: tokenizer.New(),
	}
}