爬虫入门（二）获取网页返回json数据存放于csv中

原创

于 2019-07-16 18:57:02 发布 · 2k 阅读

CC 4.0 BY-SA版权

本文介绍了如何获取网页返回的JSON数据，特别是在处理智联招聘Python职位搜索结果时。通过检查浏览器的XHR模块找到所需数据的请求路径，发送请求获取JSON数据，然后解析JSON并提取"data"和"results"字段中的信息，最终将数据保存到CSV文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

获取网页返回的json数据

今天的网站是智联招聘搜索python工作能够找到的数据

找到需要获取的内容

相对于之前的浏览器数据，这次的数据稍微有点点难找
打开我们的网页，右键检查元素
在这里插入图片描述
可以看出这个网页的doc模块中是没有我们要的信息的，所以我们要到XHR模块中找。
可以在XHR中找到

所以我们就是要向这个路径发送请求，找到请求信息

import requests
请求路径
first_level_url='https://fe-api.zhaopin.com/c/i/sou?pageSize=90&cityId=653&salary=0,0&workExperience=-1&education=-1&companyType=-1&employmentType=-1&jobWelfareTag=-1&kw=python&kt=3&=0&at=c40594997e50464590279fab1e3ce325&rt=064f85b27de94b278ae9bc757c681234&_v=0.87973111&userCode=1000019163&x-zp-page-request-id=112be33bbbed4d3bb62