爬虫篇（7）一键转换爬虫请求头headers、Cookies (Fillder/各大浏览器适用)

最新推荐文章于 2025-03-03 19:25:49 发布

原创

最新推荐文章于 2025-03-03 19:25:49 发布 · 818 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

本文介绍了如何优化爬虫请求头headers和Cookies的转换过程，提供了简洁的代码实现，并给出了执行结果。适合爬虫新手参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考：https://blog.youkuaiyun.com/qq_39802740/article/details/89884756

前言：前些天看到一篇关于一键转换爬虫请求头headers的博客，不过感觉代码冗余度有些高，经过优化并添加了一些东西的东西后写了这篇博客

代码：

#!/usr/bin/python
# -*- coding: UTF-8 -*-


def get_header(headers):
    infos = headers.split("\n")
    while "" in infos:
        infos.remove("")
    header = {i.split(": ")[0]: i.split(":")[1] for i in infos}
    return header


def get_cookie(cookies):
    infos = cookies.replace("\n", "").split("; ")
    while "" in infos:
        infos.remove("")
    header = {i.split("=")[0]: i.split("=")[1] for i in infos}
    return header
    # 当字符cookie没有换行时，可简洁到只使用一条代码
    # return {i.split("=")[0]: i.split("=")[1] for i in cookies.split("; ")}


headers = """
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3
Accept-Encoding: gzip, deflate,