- 博客(4)
- 收藏
- 关注
RSS订阅原创 《实战 | 手把手教你用 Python 爬取小红书搜索内容（图文+视频）｜Playwright 自动化》
最近在研究小红书（Xiaohongshu）的数据采集，发现其前端渲染较重，且接口普遍带有X-S-CommonX-Sign等动态签名，传统requests直接硬刚成本极高。经过多次尝试，✅Playwright负责浏览器自动化 & API 拦截（绕过登录态与风控）✅Requests负责真实资源下载（效率远高于浏览器下载）本文将完整拆解实现思路，并提供可直接运行的完整代码🚀“不打硬仗，用工程手段绕过加密”✅ 不破解参数✅ 不逆向 JS✅ 稳定、可维护、易扩展如果你也在做。
2026-04-23 21:09:10
824
原创 Python异步爬虫实战：用aiohttp+MongoDB高效爬取Scrape网图书数据
高效并发：通过asyncio+semaphore实现可控并发资源优化：全局session复用连接健壮存储：MongoDB upsert操作保证数据一致性完善日志：详细记录运行状态模块化设计：各功能解耦，易于扩展注意事项目标网站API可用（示例网站可能已变更）本地MongoDB服务已启动。
2026-04-14 20:21:51
2260
原创 Python爬虫实战：知乎热榜数据采集与分析
本文介绍了使用Python爬取知乎热榜数据的完整流程，包括请求发送、HTML解析、数据清洗和存储等关键步骤。定期更新Cookie以应对知乎的反爬策略添加异常处理提高程序健壮性遵守robots.txt协议，合理控制请求频率对采集的数据进行合规使用通过本文的学习，你可以掌握基本的网页爬虫开发技能，并将其应用到各种数据采集场景中。希望这篇教程对你有所帮助！
2026-04-12 17:05:25
1764
原创 Python爬虫实战案例之Scrape网电影数据爬取（多进程版）
这篇文档介绍用Python多进程爬取电影网站1-10页信息，通过模块化函数（列表页/详情页爬取、HTML解析、有序保存）实现高效采集，含超时控制、正则容错、日志追踪，最终按页码顺序存CSV，兼顾速度与可靠性，可复用框架爬其他结构化数据。
2026-04-11 16:44:40
999
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人