uziwz_的博客

requests介绍requests库是python优秀的第三方http请求库，使用起来简洁强大，需要额外安装。可使用pip工具安装 : pip install requests基本用法请求网页import requestsresponse = requests.get("https://www.baidu.com")仅需简单一步便可实现各种方法的请求（还有post(), p...

urllib库介绍urllib是python3内置的HTTP请求库，包含request，error，parse，robotparser四个基本模块，分别用于发送请求，异常处理，URL解析处理，识别robots协议。request模块urlopen() 方法urlopen(url, data=None, [timeout,]*, cafile=None, capath=None, cad...

爬取京东商品用户评论前言今天逛京东时眼盯着心心恋恋的macbookpro看了好久，烦躁于翻评论的枯燥时，便想随便爬一点评论一起看，于是编写了一个小爬虫，具体思路如下。分析首先打开京东并翻到了我想看的macbookpro的用户评论页面直接打开网页源代码发现什么也没有，然后一番分析后，发现页面是由js处理过的，F12检查网页，定位到js一栏，果然发现请求接口实现请求既然发现...

XPath解析库的基本用法XPath介绍XPath全称XML Path Language(XML路径语言),是一门在XML文档中查找信息的语言,同样可查找HTML文档.所以在写爬虫时可使用XPath来做相应的信息提取. (使用XPath需安装lxml库)XPath常用规则// 从当前节点选取子孙节点/ 从当前节点选取直接子节点. 选取当前节点… 选取当前节点的父节点@ 选取...

爬虫自动抓取壁纸最近发现电脑桌面屏保需要大量壁纸来轮换,可是电脑里并没有这么多图片,于是决定写个小爬虫抓一点壁纸来用.在网上随便翻了个壁纸网站,就开干了. 爬虫用到了python的requests库和lxml库,需要额外安装.分析过程首先打开网站的主页面,可以看到有许多的图片,我比较喜欢风景图,于是切换到风景选项.点击进入某个图片,并查看该页面的源代码很容易看到,图片的url地址就...