Golang colly
小馨whisper 人气:0Golang爬虫框架 colly 简介
colly是一个采用Go语言编写的Web爬虫框架,旨在提供一个能够些任何爬虫/采集器/蜘蛛的简介模板,通过Colly。你可以轻松的从网站提取结构化数据,然后进行数据挖掘,处理或归档
项目特性
- 清晰明了的API
- 速度快(每个内核上的请求数大于1K)
- 管理每个域的请求延迟和最大并发数
- 自动cookie和会话处理
- 同步/异步/ 并行抓取
- 高速缓存
- 自动处理非Unicode编码
- 支持Robots.txt
- 支持Google App Engine
- 通过环境变量进行配置
- 可拓展
安装colly
go get -u github.com/gocolly/colly
第一个colly 应用
package main import ( "fmt" "github.com/gocolly/colly" ) func main() { c := colly.NewCollector() // goquery selector class c.OnHTML(".sidebar_link", func(e *colly.HTMLElement) { e.Request.Visit(e.Attr("href")) /* link := e.Attr("href") // Print link fmt.Printf("Link found: %q -> %s\n", e.Text, link) // Visit link found on page // Only those links are visited which are in AllowedDomains c.Visit(e.Request.AbsoluteURL(link))*/ }) c.OnRequest(func(r *colly.Request) { fmt.Println("url:",r.URL) }) c.Visit("https://gorm.io/zh_CN/docs/") }
回调函数的调用顺序
- OnRequest 在请求之前调用
- OnError 如果请求期间发生错误,则调用
- OnResponseHeaders 在收到响应标头后调用
- OnResponse 收到回复后调用
- OnHTML OnResponse如果接收到的内容是HTML ,则在此之后立即调用
- OnXML OnHTML如果接收到的内容是HTML或XML ,则在之后调用
- OnScraped 在OnXML回调之后调用
实例
func collback() { // 添加回调 收集器 c:= colly.NewCollector() c.OnRequest(func(r *colly.Request) { fmt.Println("请求前调用:OnRequest") // fmt.Println("Visiting", r.URL) }) c.OnError(func(_ *colly.Response, err error) { fmt.Println("发生错误调用:OnReOnError") //log.Println("Something went wrong:", err) }) /* c.OnResponseHeaders(func(r *colly.Response) { //高版本已经不用了 fmt.Println("Visited", r.Request.URL) }) */ c.OnResponse(func(r *colly.Response) { fmt.Println("获得响应后调用:OnResponse") //fmt.Println("Visited", r.Request.URL) }) c.OnHTML("a[href]", func(e *colly.HTMLElement) { fmt.Println("OnResponse收到html内容后调用:OnHTML") //e.Request.Visit(e.Attr("href")) }) /* c.OnHTML("tr td:nth-of-type(1)", func(e *colly.HTMLElement) { fmt.Println("First column of a table row:", e.Text) })*/ c.OnXML("//h1", func(e *colly.XMLElement) { fmt.Println("OnResponse收到xml内容后调用:OnXML") //fmt.Println(e.Text) }) c.OnScraped(func(r *colly.Response) { fmt.Println("结束", r.Request.URL) }) c.Visit("https://gorm.io/zh_CN/docs/") }
得到的:
colly 的配置
设置UserAgent
//设置UserAgent的两种方式: /* //方式一 : c2 := colly.NewCollector() c2.UserAgent = "xy" c2.AllowURLRevisit = true*/ /* //方式二 : c2 := colly.NewCollector( colly.UserAgent("xy"), colly.AllowURLRevisit(), )*/
设置Cookie
//设置cookie的两种方式 //方式一:通过手动网页添加cookies c.OnRequest(func(r *colly.Request) { r.Headers.Add("cookie","_ga=GA1.2.1611472128.1650815524; _gid=GA1.2.2080811677.1652022429; __atuvc=2|17,0|18,5|19") }) // 方式二 :通过url 添加cookies siteCookie := c.Cookies("url") c.SetCookies("",siteCookie)
HTTP配置
Colly使用Golang的默认http客户端作为网络层。可以通过更改默认的HTTP roundtripper来调整HTTP选项。
c := colly.NewCollector() c.WithTransport(&http.Transport{ Proxy: http.ProxyFromEnvironment, DialContext: (&net.Dialer{ Timeout: 30 * time.Second, KeepAlive: 30 * time.Second, DualStack: true, }).DialContext, MaxIdleConns: 100, IdleConnTimeout: 90 * time.Second, TLSHandshakeTimeout: 10 * time.Second, ExpectContinueTimeout: 1 * time.Second, }
colly页面爬取和解析
页面爬取和解析重点方法是 onHTML
回调方法
c.OnHTML("a[href]", func(e *colly.HTMLElement) { fmt.Printf("e.Name:%v\n",e.Name) e.Request.Visit(e.Attr("href")) }) func html() { c:= colly.NewCollector() c.OnHTML("#sidebar", func(e *colly.HTMLElement) { //fmt.Printf("e.Name:%v\n",e.Name) //名字 //fmt.Printf("e.Text:%v\n",e.Text) //文本 ret, _ := e.DOM.Html() // selector 选择器 fmt.Printf("ret:%v\n",ret) }) c.OnRequest(func(r *colly.Request) { fmt.Println("url:",r.URL) }) c.Visit("https://gorm.io/zh_CN/docs/") }
第一个参数是:goquery选择器,可以元素名称,ID或者Class选择器,第二个参数是根据第一个选择器获得的HTML元素结构如下:
colly框架重构爬虫
package main import ( "fmt" "github.com/gocolly/colly" ) func main() { c:= colly.NewCollector() c.OnHTML(".sidebar_link", func(e *colly.HTMLElement) { // 左侧链接 href := e.Attr("href") if href != "index.html"{ c.Visit(e.Request.AbsoluteURL(href)) } }) c.OnHTML(".article-title", func(h *colly.HTMLElement) { // 选择链接之后的标题 title := h.Text fmt.Printf("title: %v\n",title) }) c.OnHTML(".article", func(h *colly.HTMLElement) { //内容 content, _ := h.DOM.Html() fmt.Printf("content: %v\n",content) }) c.OnRequest(func(r *colly.Request) { fmt.Println("url:",r.URL.String()) }) c.Visit("https://gorm.io/zh_CN/docs/") }
加载全部内容