- 博客(4)
- 资源 (12)
- 收藏
- 关注

原创 Scrapy爬取拉钩网的爬虫(爬取整站CrawlSpider)
经过我的测试,拉钩网是一个不能直接进行爬取的网站,由于我的上一个网站是扒的接口,所以这次我使用的是scrapy的整站爬取,贴上当时的代码(代码是我买的视频里面的,但是当时是不需要登陆就可以爬取的):class LagouSpider(CrawlSpider): name = 'lagou' allowed_domains = ['www.lagou.com'] sta...
2018-08-03 10:44:29
1115

原创 爬取智联招聘网站的手段(scrapy)
首先www.zhaopin.com是智联招聘网站的首页,进行搜索后,比如搜Java,点右键查看网页源代码可以看到,网页里面搜到的内容是异步加载的如图所示:然后点击f12打开开发者工具,如图:再点击刷新查看发送的异步请求,并进行分析:可以看到发送了两个异步请求,发现第二个是个后端接口,直接拿到postman中进行测试 ,如图:发现是标准的接口,直接调用接口即可爬取到网...
2018-08-03 10:21:42
4351
1
原创 百度定位sdk的api使用时获取地址信息为null的原因
我的情况是这样的 清单文件中加了service 加了key的值 在activity的主线程中使用了百度定位SDK的api 截图如下 写了一个类继承了BDAbstractLocationListener类 实现了他的方法 设置了SDK的参数 但是我前一天晚上还可以显示数据 第二天早上起来就显示为null 就试了晚上的各种方法 最后没办法问了老师 但是老师也没给出解决办法 ,最后我就看到网上说是j
2017-12-31 21:16:48
3169
2
ssh的源代码
2017-12-10
SSH的一个简单的资源
2017-12-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人