Exemplo n.º 1
0
func (self *HttpDownloader) downloadJson(p *context.Response, req *context.Request) *context.Response {
	var err error
	p, destbody := self.downloadFile(p, req)
	if !p.IsSucc() {
		return p
	}

	var body []byte
	body = []byte(destbody)
	mtype := req.GetRespType()
	if mtype == "jsonp" {
		tmpstr := util.JsonpToJson(destbody)
		body = []byte(tmpstr)
	}

	var r *simplejson.Json
	if r, err = simplejson.NewJson(body); err != nil {
		reporter.Log.Println(string(body) + "\t" + err.Error())
		p.SetStatus(true, err.Error())
		return p
	}

	// json result
	p.SetBodyStr(string(body)).SetJson(r).SetStatus(false, "")

	return p
}
Exemplo n.º 2
0
func (self *HttpDownloader) downloadHtml(p *context.Response, req *context.Request) *context.Response {
	var err error
	p, destbody := self.downloadFile(p, req)
	//fmt.Printf("Destbody %v \r\n", destbody)
	if !p.IsSucc() {
		//fmt.Print("Response error \r\n")
		return p
	}
	bodyReader := bytes.NewReader([]byte(destbody))

	var doc *goquery.Document
	if doc, err = goquery.NewDocumentFromReader(bodyReader); err != nil {
		reporter.Log.Println(err.Error())
		p.SetStatus(true, err.Error())
		return p
	}

	var body string
	if body, err = doc.Html(); err != nil {
		reporter.Log.Println(err.Error())
		p.SetStatus(true, err.Error())
		return p
	}

	p.SetBodyStr(body).SetHtmlParser(doc).SetStatus(false, "")

	return p
}
Exemplo n.º 3
0
func (self *HttpDownloader) downloadText(p *context.Response, req *context.Request) *context.Response {
	p, destbody := self.downloadFile(p, req)
	if !p.IsSucc() {
		return p
	}
	p.SetBodyStr(destbody).SetStatus(false, "")
	return p
}
Exemplo n.º 4
0
// core processer
func (self *crawler) Process(req *context.Request) {
	// 声明response
	var resp *context.Response

	defer func() {
		if err := recover(); err != nil { // do not affect other
			if strerr, ok := err.(string); ok {
				reporter.Log.Println(strerr)
			} else {
				reporter.Log.Println("Process error:", err)
			}
		}
	}()
	// reporter.Log.Println("**************断点 1 ***********")
	// download page
	for i := 0; i < 3; i++ {
		self.sleep()
		resp = self.Downloader.Download(req)
		if resp.IsSucc() { // if fail retry 3 times
			break
		}
	}
	// reporter.Log.Println("**************断点 2 ***********")
	if !resp.IsSucc() { // if fail do not need process
		return
	}
	// reporter.Log.Println("**************断点 3 ***********")
	// 过程处理,提炼数据
	self.Spider.GoRule(resp)
	// reporter.Log.Println("**************断点 5 ***********")
	// 该条请求结果存入pipeline
	datas := resp.GetItems()
	for i, count := 0, len(datas); i < count; i++ {
		self.Pipeline.Collect(
			resp.GetRuleName(), //DataCell.RuleName
			datas[i],           //DataCell.Data
			resp.GetUrl(),      //DataCell.Url
			resp.GetParent(),   //DataCell.ParentUrl
			time.Now().Format("2006-01-02 15:04:05"),
		)
	}
	// reporter.Log.Println("**************断点 end ***********")
}