python爬虫
关注
分享
扫一扫
Mankind_萌凯
90后，计算机研究生，欢迎关注我的微信公众号：萌凯的程序人生
展开
-
【python爬虫02】使用Scrapy框架爬取拉勾网招聘信息
使用Scrapy框架爬取拉勾网招聘信息最近接触了Scrapy爬虫框架，简单写了个爬虫爬取拉钩网的招聘信息，加深对Scrapy框架的理解，不得不说Scrapy框架其实还是蛮方便的，就像爬虫流水线一样，如果是大项目的话使用Scrapy会变得更加容易管理，废话不多说，下面就看看如何使用Scrapy爬取拉勾网招聘消息吧。 我们发现由于数据是分页显示的，如果原创 2017-09-02 19:57:29 · 3919 阅读 · 0 评论 -
【python爬虫03】使用Scrapy框架模拟登录知乎
把之前使用requests库模拟登录知乎的代码改了一下，改成了Scrapy框架的版本，具体代码如下：class ZhiHuSpider(CrawlSpider): name = "zhihu" # allowed_domains = ["zhihu.com"] start_urls = [ "https://www.zhihu.com" ]原创 2017-09-02 20:37:03 · 811 阅读 · 0 评论 -
【python爬虫01】使用requests库模拟登录知乎
最近入坑python爬虫…简单记录一下我的爬虫经历。一开始是因为经常在知乎上看到各种关于爬虫的资料，于是自己也想尝试一下，既然这个念头是在知乎上产生的，那么我的爬虫之旅就从爬取知乎开始吧。：） 要开始写爬虫首先需要掌握以下几点：① 网站的请求，响应等基本知识。② 学会分析网站，各种抓包工具的使用，方便我们分析网站的交互。 由于我们是要登录知乎，自然需要知道请求的参数原创 2017-09-02 17:43:49 · 1353 阅读 · 0 评论