python学习笔记之爬虫篇
关注
分享
扫一扫
hyl-ocean
github.com/hyl11
展开
-
python学习笔记之爬虫 -1- 初识爬虫
爬虫python爬虫识一个对于网络资源进行批处理的程序，比方说，现在我想要看汽车之家的最新新闻的合集，或者说我自己做了一个程序，想要临时扩充一下目前的资讯库，需要转载其他人的文章，手动的转赞无疑是非常慢的，这里就可以用到爬虫，下面给出一个小例子来说明一下爬虫的基本工作原理基本需求https://www.autohome.com.cn/news/ 对于这个网站，我想要他新闻的标题，链接，图片等...原创 2019-01-24 11:22:31 · 319 阅读 · 1 评论 -
python学习笔记之爬虫-3-初识scrapy
scrapyscrapy是一个成熟的爬虫框架，可以有逻辑的组织大量的爬虫进行高效的爬取数据和持久化，scrapy可以分为以下几个模块：引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心)调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定...转载 2019-03-01 10:46:00 · 188 阅读 · 0 评论