本文介绍了如何使用Python的urllib库进行网页爬虫，特别是如何在爬取过程中自动保存和使用cookie，以应对需要登录验证的网站。通过模拟登录获取cookie，然后使用cookie进行数据请求，解析返回的HTML内容，从而实现自动化爬取目标信息。
介绍：
爬虫，就是一段自动抓取互联网信息的程序，可从互联网上抓取对我们有价值的数据。
常用的库有：urllib，beautifulsoup等
urllib基于请求返回文本信息进行解析，beautifulsoup基于界面标签进行解析
这里详细说明下urllib的用法。
python2和python3对应的urllib库不同，分别对应urllib2和urllib。具体使用可按版本进行搜索。本文以python3对应urllib来说明
应用场景及分析方法：
我需要在某系统内查询相应的信息，并获取结果。
系统查询数据请求需要判断用户权限，因此需要cookie等用户信息，且每次登陆cookie会改变，⬇️要自动保存cookie，一劳永逸。
首先使用谷歌浏览器模式，打开network，勾选preserve log，在界面里对要访问的链接进行操作，随后在log里查看分析，以优快云查询本人原创文章进行举例。
可以看到查询原创文章request是get方法。再来看一下request的头hearders和上传参数Parameters：
hearders中的user-agent为代理，需要拷贝出来放置代码内用于伪装浏览器操作。parameters为请求需要上传的参数。
接下来看一下这个请求的返回：
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
