Ejemplos de NewRemovePunctuationFilter en Golang

Ejemplo n.º 1

Archivo: analyzer.go Proyecto: postfix/ftx

func NewNGramAnalyzer(min, max int) *Analyzer {
	return &Analyzer{
		charFilters: []char.Filter{
			char.NewRemovePunctuationFilter(),
			char.NewNorwegianFoldingFilter()},
		tokenizer:    NewNGramTokenizer(min, max),
		tokenFilters: []token.Filter{token.NewLowerCaseFilter()},
		Idx:          index.NewMapIndex(),
	}
}

Ejemplo n.º 2

Archivo: analyzer.go Proyecto: postfix/ftx

func NewStandardAnalyzer() *Analyzer {
	return &Analyzer{
		charFilters: []char.Filter{
			char.NewRemovePunctuationFilter(),
			char.NewNorwegianFoldingFilter()},
		tokenizer:    NewWhiteSpaceTokenizer(),
		tokenFilters: []token.Filter{token.NewLowerCaseFilter()},
		Idx:          index.NewMapIndex(),
	}
}