Ejemplos de PageItems en Golang

Ejemplo n.º 1

Archivo: pipeline_console.go Proyecto: CrocdileChan/go_spider

func (this *PipelineConsole) Process(items *page_items.PageItems, t com_interfaces.Task) {
	println("----------------------------------------------------------------------------------------------")
	println("Crawled url :\t" + items.GetRequest().GetUrl() + "\n")
	println("Crawled result : ")
	for key, value := range items.GetAll() {
		println(key + "\t:\t" + value)
	}
}

Ejemplo n.º 2

Archivo: pipeline_file.go Proyecto: CrocdileChan/go_spider

func (this *PipelineFile) Process(items *page_items.PageItems, t com_interfaces.Task) {
	this.pFile.WriteString("----------------------------------------------------------------------------------------------\n")
	this.pFile.WriteString("Crawled url :\t" + items.GetRequest().GetUrl() + "\n")
	this.pFile.WriteString("Crawled result : \n")
	for key, value := range items.GetAll() {
		this.pFile.WriteString(key + "\t:\t" + value + "\n")
	}
}