Golang NewEngineの例

コード例 #1

ファイル: crawl_baidubaike_with_extractor.go プロジェクト: zhangxiaoyang/goDataAccess

func main() {
	engine.NewEngine("crawl_baidubaike_with_extractor").
		AddPipeline(pipeline.NewConsolePipeline()).
		SetProcesser(NewMyProcesser()).
		SetStartUrls(getUrlsFromFile("test.url")).
		Start()
}

コード例 #2

ファイル: inject_useragent.go プロジェクト: zhangxiaoyang/goDataAccess

func main() {
	engine.NewEngine("inject_useragent").
		SetStartUrl("http://my-user-agent.com/").
		SetProcesser(NewMyProcesser()).
		AddPlugin(plugin.NewUserAgentPlugin()).
		AddPipeline(pipeline.NewConsolePipeline()).
		SetConfig(common.NewConfig().SetHeaders(map[string]string{"User-Agent": "golang spider"})).
		Start()
}

コード例 #3

ファイル: crawl_douban_page_by_page.go プロジェクト: zhangxiaoyang/goDataAccess

func main() {
	var baseUrl = "http://www.douban.com/group/explore/"

	engine.NewEngine("crawl_douban_page_by_page").
		SetStartUrl(baseUrl).
		AddPipeline(pipeline.NewConsolePipeline()).
		SetProcesser(NewMyProcesser(baseUrl)).
		Start()
}

コード例 #4

ファイル: crawling_status.go プロジェクト: zhangxiaoyang/goDataAccess

func main() {
	statusFile, _ := os.Create("status.url")
	defer statusFile.Close()

	engine.NewEngine("crawling_status").
		SetStartUrls(getUrlsFromFile("test.url")).
		AddPlugin(plugin.NewStatusPlugin(statusFile)).
		Start()
}

コード例 #5

ファイル: crawl_baidubaike_and_store_it.go プロジェクト: zhangxiaoyang/goDataAccess

func main() {
	file, _ := os.Create("crawl_baidubaike_and_store_it_output.txt")
	defer file.Close()

	engine.NewEngine("crawl_baidubaike_and_store_it").
		AddPipeline(pipeline.NewFilePipeline(file)).
		SetProcesser(NewMyProcesser()).
		SetStartUrls(getUrlsFromFile("test.url")).
		Start()
}

コード例 #6

ファイル: crawl_rate.go プロジェクト: zhangxiaoyang/goDataAccess

func main() {
	config := common.NewConfig().
		SetConcurrency(1000).
		SetWaitTime(10 * time.Millisecond).
		SetPollingTime(10 * time.Millisecond)

	engine.NewEngine("crawl_rate").
		SetStartUrls(genUrls()).
		SetProcesser(NewMyProcesser()).
		SetConfig(config).
		Start()
}

コード例 #7

ファイル: crawl_baidu_and_print_it.go プロジェクト: zhangxiaoyang/goDataAccess

func main() {
	url := "http://m.baidu.com"
	engine.NewEngine("crawl_baidu_and_print_it").AddPipeline(pipeline.NewConsolePipeline()).SetStartUrl(url).Start()
}