爬虫报错：ValueError: check_hostname requires server_hostname

最新推荐文章于 2024-07-01 18:39:58 发布

原创最新推荐文章于 2024-07-01 18:39:58 发布 · 534 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #python #开发语言

数据采集专栏收录该内容

7 篇文章

订阅专栏

本文讲述了作者在尝试爬取网页数据时遇到的问题，由于Vpn服务未关闭导致请求失败。关闭Vpn后，使用requests库成功获取了数据并利用openpyxl保存到Excel文件中。博客内容涉及Python爬虫、HTTP请求和数据处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

检查了一下代码没有错误，搜索报错信息之后知道是因为Vpn服务没有关闭造成的，因为使用Chrom搜索引擎确实方便，避免了很多的垃圾广告，于是我买了一个Vpn服务，将Vpn服务关闭之后就可以正常运行。

import requests
import json
from openpyxl import Workbook, load_workbook

url = "https://www.ptpress.com.cn//masterpiece//getMasterpieceListForPortal"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/95.0.4638.69 Safari/537.36 "
}

resp = requests.get(url, headers=headers)
# print(resp.text)
res = json.loads(resp.text)
results = res['data']

workbook = Workbook()
worksheets = workbook.worksheets[0]
worksheets.append(['bookName', 'bookId', 'picPath'])
for result in results:
    worksheets.append([result['bookName'], result['bookId'], result['picPath']])
    workbook.save('人民邮电.xlsx')