python-关于爬虫爬取36kr数据

最新推荐文章于 2025-03-14 20:08:01 发布

Ch_zhenhua

最新推荐文章于 2025-03-14 20:08:01 发布

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： python webspider

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/Ch_zhenhua/article/details/82013375

本文介绍了使用Python爬虫技术抓取36kr网站数据的实现过程，包括发送HTTP请求、正则表达式解析HTML、JSON数据处理以及数据存储。通过循环加载下一页数据，将文章标题、摘要和封面图片信息保存到JSON文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import json

import requests
import re

class Kr36(object):
    def __init__(self):
        # 利用首页
        self.url = 'https://36kr.com/'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
        }
        # ajax发送请求下一页
        self.ajax_url='https://36kr.com/api/search-column/mainsite?per_page=20&page={}'
        self.file = open('kr36.json','w')
        self.page = 1
    def get_data(self,url):
     &nb

最低0.47元/天解锁文章

200万优质内容无限畅学

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。