网络爬虫——GO

原创

已于 2022-03-19 10:03:26 修改 · 6.9k 阅读

41 ·

CC 4.0 BY-SA版权

文章标签：

#go #爬虫

于 2022-03-19 10:02:35 首次发布

本文介绍了Go语言中的网络爬虫框架colly及其HTML解析库goquery的使用。colly提供了高效的爬虫管理，支持回调函数，能设置请求头、限制并发等。goquery则类似jQuery，方便解析HTML文档。通过实例展示了如何使用colly发起请求，利用goquery解析页面内容，提取所需信息。文章还列举了goquery的常用选择器，帮助开发者更好地进行网页抓取和解析。

这里写目录标题

go-colly网络爬虫框架
goquery HTML解析

go-colly网络爬虫框架

go-colly是用Go实现的网络爬虫框架。go-colly快速优雅，在单核上每秒可以发起1K以上请求；以回调函数的形式提供了一组接口，可以实现任意类型的爬虫。

Colly 特性：
清晰的API 快速（单个内核上的请求数大于1k）管理每个域的请求延迟和最大并发数自动cookie 和会话处理
同步/异步/并行抓取高速缓存自动处理非Unicode的编码支持Robots.txt 定制Agent信息定制抓取频次**

下载安装第三方包：
go get -u github.com/gocolly/colly/…

在代码中导入包：

import "github.com/gocolly/colly"

colly的主体是Collector对象，管理网络通信和负责在作业运行时执行附加的回调函数。使用colly需要先初始化Collector：

c := colly.NewCollector()

NewCollector，是变参函数，参数类型为函数类型func(*Collector)，主要是用来初始化一个&Collector{}对象。

而在Colly中有好些函数都返回这个函数类型func(*Collector)，如UserAgent(us string)用来设置UA。所以，这里其实是一种初始化对象，设置对象属性的一种模式。相比使用方法（set方法）这种传统方式来初始设置对象属性，采用回调函数的形式在Go语言中更灵活更方便：

NewCollector(options ...func(*Collector)) *Collector
UserAgent(ua string) func(*Collector)

一旦得到一个colly对象，可以向colly附加各种不同类型的回调函数（回调函数在Colly中广泛使用），来控制收集作业或获取信息，回调函数的调用顺序如下：

OnRequest 在发起请求前被调用
OnError 请求过程中如果发生错误被调用
OnResponse 收到回复后被调用
OnHTML 在OnResponse之后被调用，如果收到的内容是HTML
OnScraped 在OnHTML之后被调用

例子：

package main

import (
    "fmt"

    "github.com/gocolly/colly"
)

func main() {
   
   
    // NewCollector(options ...func(*Collector)) *Collector
    // 声明初始化NewCollector对象时可以指定Agent，连接递归深度，URL过滤以及domain限制等
    c := colly.NewCollector(
        //colly.AllowedDomains("news.baidu.com"),
        colly.UserAgent("Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50"))

    // 发出请求时附的回调
    c.OnRequest(func(r *colly.Request) {
   
   
        // Request头部设定
        r.Headers.Set("Host", "baidu.com")
        r.Headers.Set("Connection", "keep-alive")
        r.Headers.Set("Accept", "*/*")
        r.Headers.Set("Origin", "")
        r.Headers.Set("Referer", "http://www.baidu.com")
        r.Headers.Set("Accept-Encoding", "gzip, deflate")
        r.Headers.Set("Accept-Language"