GoQuery实战技巧：处理非UTF-8与动态网页解析-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00592/article/details/148378032

GoQuery实战技巧：处理非UTF-8与动态网页解析

goquery A little like that j-thing, only in Go. 项目地址: https://gitcode.com/gh_mirrors/go/goquery

前言

在Web抓取和解析过程中，开发者经常会遇到各种特殊场景，比如非UTF-8编码的网页或JavaScript动态生成的内容。本文将深入探讨如何利用GoQuery库高效处理这些特殊情况，帮助开发者提升网页解析能力。

处理非UTF-8编码网页

GoQuery底层依赖的html解析器要求输入必须是UTF-8编码。当遇到其他编码的网页时，我们需要进行编码转换。

解决方案：使用iconv转换编码

推荐使用成熟的iconv-go库进行编码转换：

// 安装iconv-go库
go get -u github.com/djimenez/iconv-go

实际应用代码示例：

// 获取网页内容
res, err := http.Get(url)
if err != nil {
    log.Fatal(err)
}
defer res.Body.Close()

// 将指定编码转换为UTF-8
// charset参数可以是"gbk"、"big5"等常见编码
utfBody, err := iconv.NewReader(res.Body, charset, "utf-8")
if err != nil {
    log.Fatal(err)
}

// 使用转换后的内容创建GoQuery文档
doc, err := goquery.NewDocumentFromReader(utfBody)
if err != nil {
    log.Fatal(err)
}

// 现在可以正常使用doc进行解析
doc.Find("h1").Each(func(i int, s *goquery.Selection) {
    fmt.Println(s.Text())
})

替代方案：使用官方text包

Go官方提供的text/encoding包也能处理编码转换，适合偏好使用标准库的开发者：

import "golang.org/x/text/encoding"

// 使用text包提供的编码转换器
decoder := encoding.Encoding.NewDecoder()
utfBody := decoder.Reader(res.Body)

处理JavaScript动态生成的内容

对于大量依赖JavaScript动态渲染的现代网页，GoQuery无法直接获取最终DOM结构。以下是两种解决方案：

方案一：使用无头浏览器

无头浏览器能完整执行页面中的JavaScript代码，生成最终DOM。推荐使用成熟的无头浏览器解决方案：

// 伪代码示例，实际需根据具体无头浏览器库调整
browser := webloop.New()
page := browser.Open(url)
html := page.HTML()

// 将获取的HTML传递给GoQuery
doc, err := goquery.NewDocumentFromReader(strings.NewReader(html))

方案二：使用JavaScript解析器

对于简单的JavaScript处理，可以使用Go的JavaScript解析器：

// 使用otto JavaScript引擎
vm := otto.New()
// 执行JavaScript代码
vm.Run(`
    // 模拟浏览器环境
    document = {
        getElementById: function(id) {
            return {innerHTML: "<div>动态内容</div>"}
        }
    }
`)
// 获取处理后结果
value, _ := vm.Run("document.getElementById('content').innerHTML")
html := value.String()

// 传递给GoQuery解析
doc, err := goquery.NewDocumentFromReader(strings.NewReader(html))

高效遍历技巧

GoQuery提供了多种遍历方式，针对不同场景选择最优方案：

基本for循环遍历

当不需要Map/Each风格的迭代时，使用标准for循环更高效：

sel := doc.Find(".item")
for i := range sel.Nodes {
    item := sel.Eq(i)  // 获取单个元素的Selection
    title := item.Find(".title").Text()
    fmt.Printf("Item %d: %s\n", i+1, title)
}