爬虫
关注
分享
扫一扫
帅欢
这个作者很懒，什么都没留下…
展开
-
爬取智联招聘网站的手段（scrapy）
首先www.zhaopin.com是智联招聘网站的首页，进行搜索后，比如搜Java，点右键查看网页源代码可以看到，网页里面搜到的内容是异步加载的如图所示： 然后点击f12打开开发者工具，如图： 再点击刷新查看发送的异步请求，并进行分析： 可以看到发送了两个异步请求，发现第二个是个后端接口，直接拿到postman中进行测试 ，如图： 发现是标准的接口，直接调用接口即可爬取到网...原创 2018-08-03 10:21:42 · 4363 阅读 · 2 评论 -
Scrapy爬取拉钩网的爬虫（爬取整站CrawlSpider）
经过我的测试，拉钩网是一个不能直接进行爬取的网站，由于我的上一个网站是扒的接口，所以这次我使用的是scrapy的整站爬取，贴上当时的代码（代码是我买的视频里面的，但是当时是不需要登陆就可以爬取的）： class LagouSpider(CrawlSpider): name = 'lagou' allowed_domains = ['www.lagou.com'] sta...原创 2018-08-03 10:44:29 · 1118 阅读 · 1 评论