func NewHDFSSaver(namenode string) (*FileSaver, error) {
if fs, err := storage.NewHDFS(namenode); err != nil {
return nil, err
} else {
return NewFileSaver(fs), nil
}
}
func (this *HadoopExec) Setup() error {
if len(config.HadoopStreamingJar) == 0 {
msg := fmt.Sprintf("hadoop streaming jar not set")
log.Errorf(msg)
return fmt.Errorf(msg)
} else {
this.jar = config.HadoopStreamingJar
}
if fs, err := storage.NewHDFS(config.NameNode); err != nil {
msg := fmt.Sprintf("connect to hdfs namenode failed: %s", config.NameNode)
log.Fatal(msg)
return fmt.Errorf(msg)
} else {
this.hdfs = fs.(*storage.HDFS)
}
return nil
}
