Python中如何获得访问网页所返回的cookie

http://www.crifan.com/get_cookie_from_web_response_in_python/

用Python脚本模拟登陆百度空间。

需要先获得最开始登陆的百度空间网页所返回的cookie。

【解决过程】

1.搜了一番,最后参考这个:

利用Python抓取需要登录网站的信息

实现了对应的代码:

?
1
2
3
4
5
6
7
loginUrl  =  "http://hi.baidu.com/motionhouse" ;
cj  =  cookielib.CookieJar();
opener  =  urllib2.build_opener(urllib2.HTTPCookieProcessor(cj));
urllib2.install_opener(opener);
resp  =  urllib2.urlopen(loginUrl);   
for  index, cookie  in  enumerate (cj):
     print  '[' ,index,  ']' ,cookie;

然后就可以获得对应的cookie值了:

[ 0 ] <Cookie BAIDUID=D068154CA8839A493550F5CD50CB7E40:FG=1 for .baidu.com/>          
[ 1 ] <Cookie BDSP=df790172269759ee079db9e8b2fb43166d224f4abf0223215aced0529822720e0cf3d7ca7bcb0a46f21fbe096b63f6246b600c3387          
for .hi.baidu.com/>          
[ 2 ] <Cookie BDSPINFO=e960c2ed9d22dd16fdfa3c86|心情栖息地|motionhouse|9cdda2a32367cb74d72dd95531392551 for .hi.baidu.com/>          
[ 3 ] <Cookie BDSTAT=1e694581e1508576b6003af33a87e950352ac65c10385343faf2b211921376b4 for .hi.baidu.com/>


【后记 2013-08-12】

1.后来由于百度空间改版,其内部机制变化,导致现在,用同样的代码,测试而得到的结果只有1个cookie了

代码如下:

1
2
3
4
5
6
7
8
9
10
import  cookielib;
import  urllib2;
  
loginUrl  =  "http://hi.baidu.com/motionhouse" ;
cj  =  cookielib.CookieJar();
opener  =  urllib2.build_opener(urllib2.HTTPCookieProcessor(cj));
urllib2.install_opener(opener);
resp  =  urllib2.urlopen(loginUrl);  
for  index, cookie  in  enumerate (cj):
     print  '[' ,index,  ']' ,cookie;

输出如下:

1
[ 0 ] <Cookie BAIDUID=0409455CE240254B348EF29D1BDF5135:FG=1 for .baidu.com/>
### 使用 Python 获取网页 Cookie 的方法 #### 方法一:使用 `requests` 库获取 Cookies 当通过 `requests.Session()` 发送请求时,可以轻松访问响应中的 cookie。下面是一个简单的例子: ```python import requests session = requests.Session() response = session.get('http://example.com') cookies_dict = response.cookies.get_dict() print(cookies_dict) ``` 这段代码创建了一个会话对象并发送 GET 请求到指定 URL,在接收到服务器回应后提取所有的 cookies 并将其转换成字典形式打印出来。 对于更复杂的场景,比如登录网站后再抓取特定页面的数据,则可以在成功登录之后再执行上述操作来获得该次会话期间有效的 cookies[^1]。 #### 方法二:利用 Selenium WebDriver 控制浏览器行为以读取 Cookies 如果目标站点依赖 JavaScript 动态加载内容或设置 cookies,那么仅靠 `requests` 可能无法满足需求。此时可借助 Selenium 来模拟真实用户的交互过程,并从中获取所需的 cookies 数据。 安装必要的库: ```bash pip install selenium webdriver-manager ``` 编写如下脚本来启动 Chrome 浏览器实例、导航至某网址以及检索当前页面上的所有 cookies: ```python from selenium import webdriver from selenium.webdriver.chrome.service import Service as ChromeService from webdriver_manager.chrome import ChromeDriverManager driver = webdriver.Chrome(service=ChromeService(ChromeDriverManager().install())) try: driver.get('http://example.com') all_cookies = driver.get_cookies() # 返回的是列表格式 for cookie in all_cookies: print(f"{cookie['name']} : {cookie['value']}") finally: driver.quit() ``` 此段程序首先设置了驱动服务并通过它初始化了一个新的 Chrome 实例;接着调用了 `get_cookies()` 函数取得整个文档的所有 cookies 记录;最后遍历这些记录并将每条记录的名字和值配对显示出来。注意这里采用 try-finally 结构确保即使发生异常也能正常关闭浏览器窗口[^2]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值