- 博客(6)
- 收藏
- 关注
RSS订阅原创 猎聘网职位数据爬取实战：逆向 API 接口获取招聘信息
本文介绍了如何通过逆向猎聘网API接口批量获取招聘信息。首先分析猎聘网搜索职位时的POST请求接口，对比直接解析HTML的优势。重点讲解了请求头构造的关键字段（如User-Agent、X-XSRF-TOKEN等）和JSON格式请求体的参数设置。提供了完整的Python代码示例，展示如何发送请求并解析返回的职位数据（公司名称、职位名称、薪资等）。最后解析了API返回的JSON数据结构层级和核心字段路径。该方法通过直接调用API接口，实现了高效稳定的职位数据抓取。
2026-04-17 15:55:09
3230
原创 基于 requests 直接调用智联招聘 API 爬取岗位数据
本文介绍了如何通过逆向分析智联招聘的搜索接口，使用 Python requests 库直接发送 POST 请求获取岗位数据，无需启动浏览器。核心内容包括：接口参数构造（动态请求 ID 生成、关键请求头设置）、递归自动重试机制、结合 JOB_TREE 职位树实现多关键词批量采集，以及最终将数据导出为 Excel。相比 Boss 直聘、51job 等需要浏览器驱动的方案，智联直调 API 的方式速度更快、资源占用更低，适合大规模高效采集。
2026-04-17 15:54:25
1964
1
原创 基于 Playwright 爬取前程无忧岗位数据
本文介绍了一种基于Playwright爬取前程无忧(51job)岗位数据的完整实现方案。通过监听api/job/search-pc接口响应直接获取JSON数据，比解析HTML更稳定可靠。代码实现了自动化翻页、数据去重和CSV保存功能，并包含反爬措施：使用真实浏览器窗口、禁用自动化标识、设置随机等待时间等。该方案需要手动完成首次滑块验证，之后可自动翻页采集数据。文章强调仅供学习研究使用，提醒读者遵守网站规则和相关法律法规，避免高频大规模抓取。
2026-04-14 13:32:13
514
原创 基于 DrissionPage 爬取 Boss 直聘岗位数据
Boss直聘数据爬取项目总结 项目概述 本项目基于DrissionPage实现Boss直聘岗位数据的自动化采集，主要特点包括： 技术架构：采用浏览器自动化+网络请求监听技术，绕过前端渲染限制 数据存储：MySQL持久化存储+Redis高效去重 智能遍历：通过多层职位树配置驱动关键词遍历 合规设计：请求频率控制、数据去重机制 核心功能 使用DrissionPage监听XHR/Fetch数据包获取JSON数据 四层职位树配置（行业→领域→岗位→关键词） 双重去重机制（本地Set+Redis） 自动翻页与异常处理
2026-04-14 13:22:07
935
原创 Python 异步抓取懂球帝数据
本文介绍了使用Python异步爬虫抓取懂球帝API JSON数据的方法。通过分析懂球帝的API接口结构，文章展示了如何构造请求URL、解析JSON数据并实现分页抓取。技术实现上采用aiohttp库进行异步请求，配合lxml解析HTML内容，同时对抓取的数据进行清洗和过滤，包括时间筛选、噪音图片过滤等。文章强调该方法仅用于学习研究，并提醒合理控制请求频率。完整的Python代码示例涵盖了从文章列表抓取到详情解析的全流程，为体育资讯数据采集提供了实用参考方案。
2026-02-11 12:47:47
1381
原创 大众点评店铺信息与评论数据爬取完整教程（Python实现）
本文介绍了使用Python实现大众点评数据爬取的完整方案。通过requests库发起网络请求，结合lxml解析HTML页面，实现了店铺搜索、选择、信息提取和评论爬取功能。程序支持多店铺交互选择，能从店铺页面提取名称、评分、评论数量等详细信息，并将数据保存为CSV格式。技术栈包括Python 3.x、requests网络请求、lxml解析和正则表达式处理，通过随机代理和请求间隔控制反爬策略，为数据分析提供可靠的数据采集工具。
2025-11-18 16:40:48
4538
19
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人