func loadTokenizer(data string) *punkt.SentenceTokenizer {
b, err := Asset(data)
if err != nil {
panic(err)
}
training, err := punkt.LoadTraining(b)
if err != nil {
panic(err)
}
return punkt.NewSentenceTokenizer(training)
}
func main() {
b, err := Asset("data/english.json")
//b, err := ioutil.ReadFile("data/english.json")
if err != nil {
panic(err)
}
training, err := punkt.LoadTraining(b)
if err != nil {
panic(err)
}
tokenizer := punkt.NewSentenceTokenizer(training)
reader := bufio.NewReader(os.Stdin)
text, _ := ioutil.ReadAll(reader)
sentences := tokenizer.Tokenize(string(text))
for _, s := range sentences {
fmt.Println(s)
}
}