コード例 #1
0
ファイル: tokenizer.go プロジェクト: zhengchun/cwsharp-go
func (t *Tokenizer) Traverse(r cwsharp.Reader) cwsharp.TokenIterator {
	return &TokenIterator{
		inner:  simple.New().Traverse(r),
		reader: r,
		state:  true,
	}
}
コード例 #2
0
ファイル: tokenizer.go プロジェクト: zhengchun/cwsharp-go
func (t *Tokenizer) Traverse(r cwsharp.Reader) cwsharp.TokenIterator {
	return &TokenizerIterator{
		p:      t,
		inner:  simple.New().Traverse(r),
		reader: r,
	}
}