- 博客(2)
- 收藏
- 关注
RSS订阅原创 爬虫系列（二）
一、简单的爬虫程序 import urllib.request from urllib.error import URLError,HTTPError,ContentTooShortErrordef download(url,num = 2,user_agnet =’wswp’): print(‘donwloadiing’,url) #设置用户代理 ...
2018-09-16 22:56:06
123
原创 零基础爬虫（一）
一、环境配置 python3.6.5 + django1.11 二、建立独立环境，我这里是用virtualenv建立的 virtualenv -env python=3.6.6 三、对需要爬取的网站进行背景调研，网站的robots.txt和Sitemap都会给我们提供一一定的帮助。 四、检查robots.txt文件，我这里是用猫眼电影做的案例 例子：http:/...
2018-09-15 00:17:27
466
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人