爬虫
宅羽
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
爬虫资料之爬虫流程
◆ 多页面爬虫流程: 有的网页存在多页的情况,每页的网页结构都相同或类似,这种类型的网页爬虫流 程为: (1)手动翻页并观察各网页的URL 构成特点,构造出所有页面的URL 存入列表中。 (2)根据URL 列表依次循环取出URL 。 (3)定义爬虫函数。 (4)循环调用爬虫函数,存储数据。 (5)循环完毕,结束爬虫程序 ◆ 跨页面爬虫流程: (1)定义爬取函数爬取列表页的所有专题的URL (2)...原创 2019-07-15 20:56:06 · 274 阅读 · 0 评论 -
爬虫资料之三大库
◆ Request库: ◆ Lxml库: ◆ BeautifulSoup库:原创 2019-07-15 21:00:58 · 271 阅读 · 0 评论
分享