使用scrapy框架爬取腾讯招聘信息

我之前已经写过爬取腾讯招聘的博客，我是用多线程，生产者与消费者模式结合的方式写的，有兴趣的欢迎看一看

以下是博客链接：https://blog.youkuaiyun.com/g_optimistic/article/details/90048696

下面写的是用scrapy框架爬腾讯招聘

目录

1.创建爬虫文件

2.找接口  url

3.访问url

4.解析数据并保存

5.运行项目

6.s_tencent.py文件的完整代码

---

1.创建爬虫文件

scrapy genspider s_tencent careers.tencent.com

---

2.找接口  url

详细的过程之前的博客写过了，在这里我直接给出：

pageIndex里面穿的参数是页码

https://careers.tencent.com/tencentcareer/api/post/Query?keyword=python&pageIndex={}&pageSize=10

---

3.访问url

start_urls =