python获取cookie，抓取页面数据

最新推荐文章于 2025-06-02 09:12:02 发布

原创最新推荐文章于 2025-06-02 09:12:02 发布 · 2.5k 阅读

3 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

8 篇文章

订阅专栏

本文介绍使用Python和火狐浏览器的开发工具进行网页数据抓取的方法，包括设置请求头、使用requests库发送GET请求并解析HTML内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

打开火狐浏览器，直接用开发工具进行获取

抓取页面数据

#!/usr/bin/python
#-*- coding: utf-8 -*-
#encoding=utf-8

import hashlib
import time
import sys
import base64
import requests
import json
reload(sys)
import re
from lxml import etree
sys.setdefaultencoding('utf8')

# 添加header,获取通行证
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:52.0) Gecko/20100101 Firefox/52.0',
           'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
           'Cookie': 'pgv_pvi=2113857536; pt2gguin=o0243097674; RK=sc0TQxoWQY; ptcz=641c39ca965688bd9a25fdca237c8c99613a7ef334b7677582662ce841df7d45; uin=o0243097674; skey=MUPUgOZjd2; zzpaneluin=; zzpanelkey=; p_skey=ZFqBKiWsl09*i2oeY7URuWnpOF60wyc4tc6MxiVJxBI_; pt4_token=Ovj0Px026GMQ4pF-*bjWCHEuIMTk9YsEuHO3Qky2iSI_; p_uin=o0243097674; pgv_si=s8164508672; ptisp=cnc; Loading=Yes; pgv_pvid=490904736; pgv_info=ssid=s6547105191; QZ_FE_WEBP_SUPPORT=0; qz_screen=1280x800; cpu_performance_v8=52; __Q_w_s__QZN_TodoMsgCnt=1; __Q_w_s__appDataSeed=1; g_ut=2',
           }

# 开始抓取数据
url = 'https://user.qzone.qq.com/243097674/'
html = requests.get(url,headers=headers)
print html.text