爬虫报错：ValueError: check_hostname requires server_hostname

浩哥码字贼快

于 2021-11-09 08:26:21 发布

阅读量534

点赞数

CC 4.0 BY-SA版权

分类专栏：数据采集文章标签：爬虫 python 开发语言

本文链接：https://blog.youkuaiyun.com/limenghao2002/article/details/121220342

数据采集专栏收录该内容

7 篇文章

订阅专栏

本文讲述了作者在尝试爬取网页数据时遇到的问题，由于Vpn服务未关闭导致请求失败。关闭Vpn后，使用requests库成功获取了数据并利用openpyxl保存到Excel文件中。博客内容涉及Python爬虫、HTTP请求和数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

检查了一下代码没有错误，搜索报错信息之后知道是因为Vpn服务没有关闭造成的，因为使用Chrom搜索引擎确实方便，避免了很多的垃圾广告，于是我买了一个Vpn服务，将Vpn服务关闭之后就可以正常运行。

import requests
import json
from openpyxl import Workbook, load_workbook

url = "https://www.ptpress.com.cn//masterpiece//getMasterpieceListForPortal"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/95.0.4638.69 Safari/537.36 "
}

resp = requests.get(url, headers=headers)
# print(resp.text)
res = json.loads(resp.text)
results = res['data']

workbook = Workbook()
worksheets = workbook.worksheets[0]
worksheets.append(['bookName', 'bookId', 'picPath'])
for result in results:
    worksheets.append([result['bookName'], result['bookId'], result['picPath']])
    workbook.save('人民邮电.xlsx')