Python爬虫偷懒神器 —— 一键构造请求头!

最新推荐文章于 2025-03-27 17:35:22 发布

原创

最新推荐文章于 2025-03-27 17:35:22 发布 · 1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#Python

本文介绍了两种快速生成Python爬虫请求头的方法：1) 使用在线网站curl.trillworks.com将Chrome的cURL命令转换为Python代码；2) 使用Postman工具导入cURL命令并导出Python代码。这两种方法能帮助爬虫开发者节省时间，一键生成请求头，提高工作效率。

今天介绍个神奇的网站！堪称爬虫偷懒的神器！

我们在写爬虫，构建网络请求的时候，不可避免地要添加请求头( headers )，以 mdn 学习区为例，我们的请求头是这样的：

Python资源共享群：484031800

一般来说，我们只要添加 user-agent 就能满足绝大部分需求了，Python 代码如下：

import requests
headers = {
    #'authority': 'developer.mozilla.org',
    #'pragma': 'no-cache',
    #'cache-control': 'no-cache',
    #'upgrade-insecure-requests': '1',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 YaBrowser/19.7.0.1635 Yowser/2.5 Safari/537.36',
    #'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3',
    #'accept-encoding': 'gzip, deflate, br',
    #'accept-language': 'zh-CN,zh-TW;q=0.9,zh;q=0.8,en-US;q=0.7,en;q=0.6',
    #'cookie': 你的cookie,
}
response = requests.get('https://developer.mozilla.org/zh-CN/docs/learn', headers=headers)