Golang TokenAll 예제들

예제 #1

파일: lex.go 프로젝트: Xslxy/e8vm

// Tokens parses a file in a token array
func Tokens(f string, r io.Reader) ([]*lex8.Token, []*lex8.Error) {
	x := newLexer(f, r)
	toks := lex8.TokenAll(x)
	if es := x.Errs(); es != nil {
		return nil, es
	}
	return toks, nil
}

예제 #2

파일: tokens.go 프로젝트: 272489711/e8vm

// Tokens parses a file into a token array
func Tokens(f string, r io.Reader) ([]*lex8.Token, []*lex8.Error) {
	x, _ := makeTokener(f, r, false)
	toks := lex8.TokenAll(x)
	if errs := x.Errs(); errs != nil {
		return nil, errs
	}
	return toks, nil
}