使用phantomjs访问网站，高度自定义headers

最新推荐文章于 2024-07-28 17:04:36 发布

Nick_Spider

最新推荐文章于 2024-07-28 17:04:36 发布

阅读量3.1w

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫 python 文章标签：浏览器 selenium phantomjs 爬虫 cookie

本文链接：https://blog.youkuaiyun.com/weixin_39198406/article/details/78231447

本文介绍了如何在使用phantomjs进行网页访问时，添加自定义headers和设置cookie，以解决需要登录状态才能访问的网站问题。通过示例详细讲解了实现这一功能的步骤。

由于在遇到的一个网站需要cookie才能访问成功，所以研究了一下如何给phantomjs设置cookie。既然能设置cookie，那么其余的头信息应该也能设置，下面就给大家说明如何实现。

下面是我们要附带给phantomjs浏览器的headers信息。

headers = {
    'accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
    'accept-language': "zh-CN,zh;q=0.8",
    'cache-control': "no-cache",
    'cookie': "miid=165455699654368GLfgXOlF-KOKx",
    'upgrade-insecure-requests': "1",
    # 使用phantomjs时，如果加了下面这句，有可能就会收到压缩后的数据
    # 如