Python爬虫入门【18】： 36氪(36kr)数据抓取 scrapy

未衬老师

于 2019-07-23 21:59:52 发布

阅读量968

点赞数

CC 4.0 BY-SA版权

文章标签： Python Python爬虫数据挖掘 Python基础

本文链接：https://blog.youkuaiyun.com/weichen090909/article/details/97040664

本文介绍了使用Python的Scrapy框架抓取36氪网站新闻数据的过程，包括分析数据加载方式、创建Scrapy项目、编写URL生成器、解析数据以及数据持久化。通过抓取和分析36kr的瀑布流新闻，总计获取了约条文章，为后续的数据分析打下基础。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 36氪(36kr)数据----写在前面

今天抓取一个新闻媒体，36kr的文章内容，也是为后面的数据分析做相应的准备

36kr 让一部分人先看到未来，而你今天要做的事情确实要抓取它的过去。

网址 https://36kr.com/

2. 36氪(36kr)数据----数据分析

36kr的页面是一个瀑布流的效果，当你不断的下拉页面的时候，数据从后台追加过来，基于此，基本可以判断它是ajax异步的数据，只需要打开开发者工具，就能快速的定位到想要的数据，我们尝试一下！

捕获链接如下

https://36kr.com/api/search-column/mainsite?per_page=20&page=1&_=1543840108547
https://36kr.com/api/search-column/mainsite?per_page=20&page=2&_=1543840108547
https://36kr.com/api/search-column/mainsite?per_page=20&page=3&_=1543840108547
https://36kr.com/

最低0.47元/天解锁文章

200万优质内容无限畅学