Colly官方文档入门教程

Colly

Colly 是用于构建 Web 爬虫的 Golang 框架。使用 Colly , 你可以构建各种复杂的 Web 抓取工具，从简单的抓取工具到处理数百万个网页的复杂的异步网站抓取工具。 Colly 提供了一个 API, 用于执行网络请求和处理接收到的内容（例如，与 HTML 文档的 DOM 树进行交互）。

特点

1. 易于使用：Colly提供了简洁的API来发起HTTP请求，并且可以方便地处理响应。
2. 灵活的中间件支持：允许用户自定义中间件来修改请求或响应，例如添加User-Agent、设置超时时间等。
3. 自动处理重定向：Colly会自动跟踪重定向链接，这在爬取过程中非常有用。
4. 强大的HTML解析功能：内置了对HTML文档的解析功能，可以通过XPath或CSS选择器来提取页面上的信息。
5. 并发支持：Colly支持并发请求，可以设置最大并发数以控制爬虫的速度，避免给目标网站带来过大压力。
6. 错误处理：提供了错误处理机制，可以帮助开发者更好地管理爬虫运行过程中可能出现的问题。

框架主要组件

1. Collector
2. Request 和 Response
3. Middleware
4. OnXXX 事件处理器
5. 存储和缓存
6. 并发控制

详细说明

• Collector
• 定义: Collector 是 Colly 的核心组件，负责管理和调度所有的请求和响应。
• 初始化: 通过 colly.NewCollector() 创建一个新的 Collector 实例。
• 属性: 包括请求队列、中间件列表、事件处理器等。
• 方法: 提供了多种方法来配置和控制爬虫行为，如 Visit, OnHTML, OnRequest, OnError 等。

2. Request 和 Response

• Request: 表示一个 HTTP 请求，包含 URL、方法、头部信息等。
• Response: 表示一个 HTTP 响应，包含状态码、响应体、头部信息等。
• 交互: Collector 使用 Request 发起请求，并接收 Response 进行处理。

3. Middleware

• 定义: 中间件用于在请求和响应之间进行额外的处理。
• 类型: 包括请求中间件 (BeforeRequest, AfterRequest) 和响应中间件 (BeforeResponse, AfterResponse)。
• 注册: 可以通过 Collector 的 Use 方法注册中间件。
• 示例:

c.Use(func(r *colly.Request