Golang Extract示例

示例#1

文件： 8findlinks3.go 项目： yyBeta/gopl

func crawl(url string) []string {
	fmt.Println(url)
	list, err := links.Extract(url)
	if err != nil {
		log.Print(err)
	}
	return list
}

示例#2

文件： 13crawl2.go 项目： yyBeta/gopl

func crawl(url string) []string {
	fmt.Println(url)
	tokens <- struct{}{} // acquire a token
	list, err := links.Extract(url)
	<-tokens // release the token
	if err != nil {
		log.Print(err)
	}
	return list
}

示例#3

文件： ex13.go 项目： yyBeta/gopl

func crawl(theURL string) []string {
	fmt.Println(theURL)
	list, err := links.Extract(theURL)
	if err != nil {
		log.Print(err)
	}
	list = selectSameDomain(theURL, list)

	for _, link := range list {
		save(link)
	}

	return list
}

示例#4

文件： ex7.go 项目： yyBeta/gopl

func crawl(url string) []string {
	fmt.Println(url)
	tokens <- struct{}{} // acquire a token
	list, err := links.Extract(url)
	<-tokens // release the token
	if err != nil {
		log.Print(err)
	}

	list = selectSameDomain(url, list)
	for _, link := range list {
		save(link)
	}

	return list
}