go语言爬虫学习--解决乱码问题

最新推荐文章于 2024-09-09 17:57:56 发布

原创

最新推荐文章于 2024-09-09 17:57:56 发布 · 1.9k 阅读

1 ·

CC 4.0 BY-SA版权

本文详细介绍了如何在Go语言爬虫中解决中文乱码问题，通过`determiEncoding`函数识别响应体编码并转换为UTF-8，确保正确解析网页内容。

go语言爬虫学习–解决乱码问题

上次的笔记介绍了如何使用go语言简单爬取网页代码，但是这种方法存在乱码问题，比如中文就无法读取。这一次笔记记录了这个问题的解决方案。

前提

先在gopath中引入一个包：golang.org

main函数

分析main函数：

func main() {
   
   
	//res 为结构体，储存了很多的信息
	resp, err := http.Get("https://www.toutiao.com/?wid=1628221487217")
	if err != nil {
   
   
		fmt.Println(err)
	}
	defer resp.Body.Close()

	if resp.StatusCode != http.StatusOK {
   
   
		fmt.Printf("Error status Code :%d", resp.StatusCode)
	}

	//获取响应体
	bodyReader := bufio.NewReader