Python爬虫入门教程【18】： 36氪(36kr)数据抓取 scrapy

最新推荐文章于 2024-04-28 22:14:47 发布

追梦IT男

最新推荐文章于 2024-04-28 22:14:47 发布

阅读量1k

点赞数

CC 4.0 BY-SA版权

文章标签： Python 爬虫数据挖掘编程语言

本文链接：https://blog.youkuaiyun.com/wcg541/article/details/97396195

本文是Python爬虫入门教程的第18篇，讲解如何使用Scrapy抓取36kr网站的数据。通过分析36kr的瀑布流页面，确定其异步加载的数据获取方式，并设定请求参数。接着创建Scrapy项目，编写爬虫入口、URL生成器和数据解析逻辑，处理数据缺失情况。最后，实现数据的持久化存储，实际运行获取了约条数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 36氪(36kr)数据----写在前面

今天抓取一个新闻媒体，36kr的文章内容，也是为后面的数据分析做相应的准备

36kr 让一部分人先看到未来，而你今天要做的事情确实要抓取它的过去。

网址 https://36kr.com/

2. 36氪(36kr)数据----数据分析

36kr的页面是一个瀑布流的效果，当你不断的下拉页面的时候，数据从后台追加过来，基于此，基本可以判断它是ajax异步的数据，只需要打开开发者工具，就能快速的定位到想要的数据，我们尝试一下！

捕获链接如下

https://36kr.com/api/search-column/mainsite?per_page=20&page=1&_=1543840108547
https://36kr.com/api/search-column/mainsite?per_page=20&page=2&_=1543840108547
https://36kr.com/api/search-column/mainsite?per_page=20&page=3&_=1543840108547
https://36kr.com/