コード例 #1
0
ファイル: crawl.go プロジェクト: jununfly/pholcus
func (self *crawler) Init(sp *spider.Spider) Crawler {
	self.srcManage = 0
	self.Spider = sp
	scheduler.Sdl.RegSpider(sp.GetId())
	self.Pipeline.Init(sp)
	return self
}
コード例 #2
0
ファイル: guispider.go プロジェクト: henrylee2cn/pholcus
func NewGUISpider(sp *spider.Spider, idx int) *GUISpider {
	return &GUISpider{
		Spider:      sp,
		Title:       sp.GetName(),
		Description: sp.GetDescription(),
		Index:       idx,
	}
}
コード例 #3
0
ファイル: crawler.go プロジェクト: henrylee2cn/pholcus
func (self *crawler) Init(sp *spider.Spider) Crawler {
	self.Spider = sp.ReqmatrixInit()
	self.Pipeline = pipeline.New(sp)
	self.pause[0] = cache.Task.Pausetime / 2
	if self.pause[0] > 0 {
		self.pause[1] = self.pause[0] * 3
	} else {
		self.pause[1] = 1
	}
	return self
}
コード例 #4
0
ファイル: crawl.go プロジェクト: Cdim/pholcus
func (self *crawler) Init(sp *spider.Spider) Crawler {
	self.Spider = sp.ReqmatrixInit()
	self.Pipeline.Init(sp)
	self.basePause = cache.Task.Pausetime / 2
	if self.basePause > 0 {
		self.gainPause = self.basePause * 3
	} else {
		self.gainPause = 1
	}
	return self
}