python爬虫
关注
分享
扫一扫
java.py
不甘平凡
展开
-
从0开始学习python14：爬虫查询ip地址
'''今天爬取IP138网页查询自己输入的IP地址： 1、有爬虫限制，因此必须修改User-Agent才可以爬取 2、一个User-Agent只能连续爬取几次便被和谐了，因此程序要自动更改User-Agent才能连续不间断地访问爬取 3、根据网页简单的特点，可以直接截取自己需要的信息行打印出来 4、由于是用于练习、检验代码是否可行，勉强说服自己不用遵守Robots协议 import ...原创 2019-09-02 21:34:52 · 541 阅读 · 0 评论 -
从0开始学习python15：安装scrapy是玄学？
今天学习网络爬虫的信息与提取时，要用到scrapy，于是打开cmd： C:\Users\tianyaliaowang>pip install scrapy 出现了很多下载进度，窃喜安装这个框架没有什么问题。 结果后面还是报错了。。。 ERROR: Could not find a version that satisfies the requirement zope.interface&g...原创 2019-09-04 15:10:39 · 230 阅读 · 0 评论