Beispiel #1
0
func loadTokenizer(data string) *punkt.SentenceTokenizer {
	b, err := Asset(data)
	if err != nil {
		panic(err)
	}

	training, err := punkt.LoadTraining(b)
	if err != nil {
		panic(err)
	}

	return punkt.NewSentenceTokenizer(training)
}
Beispiel #2
0
func main() {

	b, err := Asset("data/english.json")
	//b, err := ioutil.ReadFile("data/english.json")
	if err != nil {
		panic(err)
	}

	training, err := punkt.LoadTraining(b)
	if err != nil {
		panic(err)
	}

	tokenizer := punkt.NewSentenceTokenizer(training)

	reader := bufio.NewReader(os.Stdin)
	text, _ := ioutil.ReadAll(reader)

	sentences := tokenizer.Tokenize(string(text))
	for _, s := range sentences {
		fmt.Println(s)
	}
}