小福利,爬取今日头条新闻信息

该博客展示了如何使用Python进行网络爬虫,从今日头条网站抓取关于'新冠'的新闻信息。代码中详细说明了请求头设置及参数构造,并通过循环遍历并打印出新闻标题、媒体名称和评论数。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

大家好,我是天空之城,今天给大家带来小福利,爬取今日头条新闻信息
话不多说,代码如下

import requests

headers={'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}
url='https://www.toutiao.com/api/search/content/'
offset=0
a='''aid: 24
app_name: web_search
offset: 0
format: json
keyword: 新冠
autoload: true
count: 20
en_qc: 1
cur_tab: 1
from: search_tab
pd: synthesis
timestamp: 1601455124814
_signature: qT.UrgAgEBCHDks5xnZLoKk-lbAAPZafqzWaCfcqzTO.5gltlRobNika-oA4RC4X1n.FANe3Ud1PeuLrZvU6i5sFp50kn8a9Yemog-LBiItItT0cXhEZ4Yuac4IcxFIQ8sj'''
#需要使用自己电脑的实时Request Headers
params = dict([line.split(": ",1) for line in a.split("\n")])
res=requests.get(url,headers=headers,params=params)
articles=res.json()
data=articles['data']
for i in data:
    try:
        list1=[i['title'],i["media_name"],i["comment_count"]]
        print(list1)
    except:
        pass


截图如下

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值