Ejemplo n.º 1
0
func channel(strs ...string) tokenizer.TokenChan {
	filter := Build()
	return filter.Process(tokenizer.NewTokenChan(strs))
}
Ejemplo n.º 2
0
func (st *SimpleTokenizer) Tokenize(input string) tokenizer.TokenChan {
	return tokenizer.NewTokenChan(strings.Fields(input))
}