예제 #1
0
func channel(strs ...string) tokenizer.TokenChan {
	filter := Build()
	return filter.Process(tokenizer.NewTokenChan(strs))
}
예제 #2
0
파일: simple.go 프로젝트: darkhelmet/fetch 
func (st *SimpleTokenizer) Tokenize(input string) tokenizer.TokenChan {
	return tokenizer.NewTokenChan(strings.Fields(input))
}