python-关于爬虫爬取36kr数据

最新推荐文章于 2025-03-14 20:08:01 发布
原创 最新推荐文章于 2025-03-14 20:08:01 发布 · 1.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了使用Python爬虫技术抓取36kr网站数据的实现过程，包括发送HTTP请求、正则表达式解析HTML、JSON数据处理以及数据存储。通过循环加载下一页数据，将文章标题、摘要和封面图片信息保存到JSON文件中。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

import json

import requests
import re

class Kr36(object):
    def __init__(self):
        # 利用首页
        self.url = 'https://36kr.com/'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
        }
        # ajax发送请求下一页
        self.ajax_url='https://36kr.com/api/search-column/mainsite?per_page=20&page={}'
        self.file = open('kr36.json','w')
        self.page = 1
    def get_data(self,url):
     &nb

最低0.47元/天 解锁文章

200万优质内容无限畅学
Python爬虫入门教程 31-100 36氪(36kr)数据抓取 scrapy
梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
12-03 2万+
1. 写在前面 今天抓取一个新闻媒体，36kr的文章内容，也是为后面的数据分析做相应的准备的，预计在12月底，爬虫大概写到50篇案例的时刻，将会迎来一个新的内容，系统的数据分析博文，记得关注哦~ 36kr 让一部分人先看到未来，而你今天要做的事情确实要抓取它的过去。 网址 https://36kr.com/ 2. 数据分析 36kr的页面是一个瀑布流的效果，当你不断的下拉页面的时候，数据从后台...
Python 爬虫实战：36 氪财经文章智能分类（标签提取 + 行业趋势预测）
最新发布
u014481728的博客
06-21 46
在大数据时代，财经资讯的自动化采集与智能分析成为数据驱动决策的重要基础。本文以国内知名科技财经媒体平台36氪的财经类文章为目标，通过Python爬虫技术实现自动化数据采集，结合自然语言处理（NLP）技术完成文章标签提取与行业趋势预测。全文将涵盖动态网页爬取、反爬虫应对、数据清洗、文本分析、可视化等核心技术，最终输出结构化数据与行业洞察报告。
Python爬虫_爬取36kr
abcdasdff的博客
08-21 1340
Python3.6环境 from lxml import etree import requests #输入页数,得到网址 def wb_url(page_num): for num in range(1, page_num+1): url = 'https://36kr.com/api/search-column/mainsite?per_page=20&...
python ajax爬虫 --36Kr为例
soloflac的博客
05-10 3481
本文转自我的个人博客 最近在倒腾ajax爬虫，顺便记录一下过程。以36Kr “早期项目” 一栏为例，大致分为如下两步。解析索引页难点在于如何获取索引页的url。浏览器打开36Kr,按F12打开开发者工具，切换到Netwotk 面板。AJAX 一般是通过 XMLHttpRequest 对象接口发送请求的，XMLHttpRequest 一般被缩写为 XHR。所以点击XHR，清空监听到的内容。如下图:点
Python爬虫入门【18】： 36氪(36kr)数据抓取 scrapy
bingshi8956的博客
07-26 1363
1. 36氪(36kr)数据----写在前面 今天抓取一个新闻媒体，36kr的文章内容，也是为后面的数据分析做相应的准备 36kr 让一部分人先看到未来，而你今天要做的事情确实要抓取它的过去。 网址 https://36kr.com/ 2. 36氪(36kr)数据----数据分析 36kr的页面是一个瀑布流的效果，当你不断的下拉页面的时候，数据从后台追加过来，基于此，基本可以判断它是ajax异步...
使用Python爬虫技术爬取36kr文章内容：从HTML结构分析到API接口爬取
2201_76125261的博客
03-14 1481
requests：用于发送HTTP请求。：用于解析HTML并提取数据。Selenium：用于动态页面的爬取（如果页面通过JavaScript动态加载内容）。Scrapy：用于构建复杂的爬虫框架，支持异步请求，适合大规模爬取。在本篇博客中，我们详细介绍了如何使用Python爬取36kr的文章内容。我们分析了HTML结构和API接口，并给出了爬虫代码示例。此外，还介绍了如何存储抓取的数据，并处理常见的异常和反爬机制。通过这些步骤，您可以创建一个功能完善的爬虫来获取36kr的文章数据。
09-27 python爬取36kr网站文章
weixin_46400833的博客
09-27 529
准备： from lxml import etree import requests #输入页数,得到网址 def wb_url(page_num): for num in range(1, page_num+1): url = ‘https://36kr.com/api/search-column/mainsite?per_page=20&page=’ + str(num) yield url #得到首页json数据 def rejson(url): header = {‘User-Agent’:
python爬虫知网实例-python爬取知网
weixin_37988176的博客
10-30 7821
广告关闭腾讯云双11爆品提前享，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高满返5000元！https:github.comgnemougdistribute_crawlercnkispider- 中国知网爬虫。 设置检索条件后，执行srccnkispider.py抓取数据，抓取数据存储在data目录下...如果整站爬全部文本和图片作为离线查询，大概需要10g空间、2小时（1...
python爬取腾讯新闻_Python 爬虫（爬取腾讯新闻）
weixin_39926040的博客
11-20 858
趁热打铁，再来爬一下 TX 的网站 -- 科技 -腾讯网。腾讯新闻的科技板块，至于为什么爬这个板块？我们要做新时代的科技少年???? ???? ???? 。闲话少叙，快上车。一、分析网页代码打开网页并进入调试模式，可以看的我们要爬取的内容都在这个 中。qqxw_01.png打开看看，就是它们，这个网站默认加载 20 条新闻，拉到底部会加载更多。qqxw_02.png因为是爬取新闻，也不涉及翻页的问题（爬以前的旧文...
[完整爬虫]java爬虫基础对36Kr快讯数据进行爬取以及数据筛选过滤
qq_41873771的博客
10-24 1186
36Kr 也叫36氪,是一个我非常喜欢的网站,网罗天下资讯,而且页面整洁资讯一目了然,极大的开拓眼界,许多不管是金融方面科技方面我感觉是最新最全面,当然最终是准备爬取一下上面的资讯,当然是不会对对方服务器造成压力的情况下进行的爬取.
36krCrawler:采集36氪上所有帖子数据的爬虫，可采集后供数据分析的人测试使用
06-21
36krCrawler 采集36氪上所有帖子数据的爬虫，可采集后供数据分析的人测试使用。 运行mainClass即可。 采集的数据会放到data文件，目前有四个字段。 url#title#author#time#content data文件里是采集好的一批数据，供参考使用。
python爬虫 - 爬取html中的script数据（36kr.com新闻信息）
BullKing8185的博客
04-23 1149
python爬虫 - 爬取html中的script数据（36kr.com新闻信息） 1. 分析页面内容数据格式 2. 使用re.findall方法，爬取新闻 3. 使用re.search 方法，爬取新闻
Python爬虫入门教程【18】： 36氪(36kr)数据抓取 scrapy
Python追梦
07-26 1088
1. 36氪(36kr)数据----写在前面 今天抓取一个新闻媒体，36kr的文章内容，也是为后面的数据分析做相应的准备 36kr 让一部分人先看到未来，而你今天要做的事情确实要抓取它的过去。 网址 https://36kr.com/ 2. 36氪(36kr)数据----数据分析 36kr的页面是一个瀑布流的效果，当你不断的下拉页面的时候，数据从后台追加过来，基于此，基本可以判断它是ajax异步...
02-18 36kr文章爬取-1
weixin_46400833的博客
02-18 596
问题： 1、动态加载的url通用模板如何设置？ 2、如何控制文章发布时间在一年内？ 3、如何实现分类保存？ 初步代码如下： import requests from lxml import etree import time import json url='https://gateway.36kr.com/api/mis/nav/ifm/subNav/flow' headers={ 'User_Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) Appl
爬虫-36kr-接口分析-191016
pyhui的技术博客
10-16 1591
36kr爬虫 目标网站 首页_36氪 https://36kr.com/ 需求 写出爬取的代码 要爬所有的文章标题与文章url 分析网站 找接口，首页的文章内容在哪里 Request URL: https://36kr.com/ 找接口，第二页 接口直接在链接中 # 获取下一页内容 # 下一页url = 获取下一页内容（第一页HTML） # 思...
Python+scrapy爬取36氪网
zhulu52166的博客
10-26 2062
Python+Scrapy爬取36氪网新闻 一.准备工作： ​ ①安装python3 ​ ②安装scrapy ​ ③安装docker，用来运行splash，splash是用来提供js渲染服务（python中还需利用pip安装scrapy-splash 库） 注意：win10需要安装docker客户端（https://www.docker.com/），Linux的安装就比较简单了（自行百度）。安装上...
爬虫（爬取36kr新闻）（未完成）
u010458863的专栏
09-30 3514
爬取36kr网站的经历虽然之前老是听同学提起网络爬虫，但是自己一直没有尝试过。这次因为项目需要，我也开始了爬虫之旅。跌跌撞撞，特此记录，希望能够帮助到一些人，也是对自己的一个总结提高。 目录用 [TOC]来生成目录：爬取36kr网站的经历目录 设计到的知识 任务及解决思路 爬虫过程 资料共享 反思与提高 代码块设计到的知识 前端相关的知识：HTML，JavaScript。要能看得懂HTML代码，会分
用python爬取新闻_python3 爬取36氪新闻网页
weixin_39968128的博客
11-23 517
一个做了反爬的36氪，返回数据恶心，感觉是一堆垃圾。这里只是记录一下爬取过程。（一）爬取环境win10python3scrapy（二）爬取过程（1）入口：搜索image.png（2）动态js数据加载，查看下一页操作：image.png（3）返回数据：image.png（4）请求链接http://36kr.com/api//search/entity-search?page=4&per_page=4...
在当当买了python怎么下载源代码-python爬虫爬取当当网
06-13
至于Python爬虫爬取当当网，你可以使用Python中的requests和BeautifulSoup库来进行网页爬取和解析。具体的步骤如下： 1. 安装requests和BeautifulSoup库：在命令行中输入以下命令即可安装 ``` pip install ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值