【Go语言实战】Go语言写爬虫：状态码返回418

最新推荐文章于 2025-04-03 14:15:00 发布

镰刀韭菜

最新推荐文章于 2025-04-03 14:15:00 发布

阅读量808

点赞数

CC 4.0 BY-SA版权

分类专栏： Go语言实战文章标签： Go http 418 ioutil 爬虫

本文链接：https://blog.youkuaiyun.com/ARPOSPF/article/details/117232706

Go语言实战专栏收录该内容

22 篇文章

订阅专栏

在使用Go语言进行网页抓取时遇到418状态码的问题，原因是缺少合适的User-Agent头。通过创建http.Request并设置User-Agent头，可以成功发送请求并获取网页内容。示例代码展示了如何设置User-Agent并正确执行HTTP GET请求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题描述：

使用Go语言写爬虫项目的时候，使用http.Get(url)去抓取网页内容，但是状态码返回418，Body为空。

问题分析：

http.Get(url)是不需要设置header属性的http请求，比较简单快捷，但状态码返回418，表明需要设置其header属性，那么可以使用http.NewRequest，在设置其header属性即可。

代码：

package main

import (
	"fmt"
	"io/ioutil"
	"net/http"
)

func main() {
	client := &http.Client{}
	url := "https://book.douban.com/"
	reqest, err := http.NewRequest("GET", url, nil)
	// 设置header属性
	reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36 Edg/90.0.818.62")
	if err != nil {
		panic(err)
	}
	resp, _ := client.Do(reqest)
	defer resp.Body.Close()
	if resp.StatusCode != http.StatusOK {
		fmt.Printf("Error status code: %d", resp.StatusCode)
	}
	result, err := ioutil.ReadAll(resp.Body)
	if err != nil {
		panic(err)
	}
	fmt.Printf("%s", result)
}