python 通过 XHR 爬取今日头条首页新闻

最新推荐文章于 2025-09-22 00:32:01 发布
原创 最新推荐文章于 2025-09-22 00:32:01 发布 · 1.4k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文介绍了一种通过构造多个XHR请求获取今日头条网站JSON数据的方法。作者详细展示了如何使用Python的requests库发送请求，捕获JSON响应，并解析数据。通过对相同参数的观察，简化了请求过程，最终实现了数据的有效抓取。

本来是打算构造请求参数然后拿 json 提数据的，但请求的参数属实是有些复杂

不过仔细看看还是有不少参数是一样的，所以干脆就多向下刷了几次，多拿到了一些请求，最初
是打算将相同的参数写定，然后把变化的参数弄成一个列表 ，，不过后来一想实在是有点麻烦，
所以就把那几个请求直接放在了列表里，然后弄个 for 循环每个都去访问一下好了

import requests
import json
from requests.exceptions import RequestException
import time

def get_page(urls):
    headers = {
                    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                             'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36'
    }
    json_list = []
    for url in urls:
        try:
            time.sleep(2)
            response = requests.get(url, headers=headers).text
            html = json.loads(response)
            json_list.append(html)
        except RequestException:
            continue
    return json_list

# 这一串又长又绿的，，就是那个请求列表
def url_list():
    urls = [
        'https://www.toutiao.com/api/pc/feed/?max_behot_time=1581473162&category=__all__&utm_source=toutiao&widen=1&tad'
        'require=true&as=A1C54E94C3BB3BD&cp=5E43EB638B5DAE1&_signature=.AjOuAAgEBA6X3c11FdlGPwIj6AAKJV8DKwZY22MJWsq1ROv'
        'FPLtbE.1YzVMYoVY2CgET0pEVzI0iEXqDhiPYP5-A4uNgO52UalNylqSnVRzazHjuY.F.pj4W4Igm1isBab',
        'https://www.toutiao.com/api/pc/feed/?max_behot_time=1581482108&category=__all__&utm_source=toutiao&widen=1&tad'
        'require=true&as=A1551EA4733B3BB&cp=5E430BF35B9B9E1&_signature=FF0USAAgEBDSCq3FBGe4NxRdVVAAEoj8DKwZY22MJWsq1ROv'
        'FPLtbE.1YzVMYoVY2CgET0pEVzI0iEXqDhiPYP5-A4uNgO52UalNylqSnVRzazHjuY.F.pj4W4Igm1isBab',
        'https://www.toutiao.com/api/pc/feed/?max_behot_time=1581473162&category=__all__&utm_source=toutiao&widen=1&tad'
        'require=true&as=A1351E74D37A7F3&cp=5E436A671FA39E1&_signature=vxltHAAgEBB5TtSRvyxlKL8ZLAAAOFoOoHL2tGvGmFXGcdHY'
        'knMSUDObnxVSydiRHMQ9qESbtN49-8H0CL4nRejMdYrv1pHS7TjnqorKPsWV8I.bx4O9oPN4h6qA-6Yyi-c',
        'https://www.toutiao.com/api/pc/feed/?max_behot_time=1581466232&category=__all__&utm_source=toutiao&widen=1&tad'
        'require=true&as=A125FE04037A7F4&cp=5E43BA376FE44E1&_signature=PCGcHAAgEBD6diWRbNHmNjwh3QAAGJoOoHL2tGvGmFXGcdHY'
        'knMSUDObnxVSydiRHMQ9qESbtN49-8H0CL4nRejMdYrv1pHS7TjnqorKPsWV8I.bx4O9oPN4h6qA-6Yyi-c',
        'https://www.toutiao.com/api/pc/feed/?max_behot_time=1581445891&category=__all__&utm_source=toutiao&widen=1&tad'
        'require=true&as=A1752E94537A7F7&cp=5E43AA578FE74E1&_signature=3PHw7AAgEBAapklhs.mElNzxsfAAIK6OoHL2tGvGmFXGcdHY'
        'knMSUDObnxVSydiRHMQ9qESbtN49-8H0CL4nRejMdYrv1pHS7TjnqorKPsWV8I.bx4O9oPN4h6qA-6Yyi-c',
        'https://www.toutiao.com/api/pc/feed/?max_behot_time=1581430411&category=__all__&utm_source=toutiao&widen=1&tad'
        'require=true&as=A115EEC4430A7FA&cp=5E437A979FAA2E1&_signature=5lWR7AAgEBAgAihh8IuSYOZV0PAALghOoHL2tGvGmFXGcdHY'
        'knMSUDObnxVSydiRHMQ9qESbtN49-8H0CL4nRejMdYrv1pHS7TjnqorKPsWV8I.bx4O9oPN4h6qA-6Yyi-c',
        'https://www.toutiao.com/api/pc/feed/?max_behot_time=1581430361&category=__all__&utm_source=toutiao&widen=1&tad'
        'require=true&as=A105DE34F3DA7FB&cp=5E43DAE7DF9B8E1&_signature=jtZheAAgEBBIgdj1EOyMJo7WIGAANCiOoHL2tGvGmFXGcdHY'
        'knMSUDObnxVSydiRHMQ9qESbtN49-8H0CL4nRejMdYrv1pHS7TjnqorKPsWV8I.bx4O9oPN4h6qA-6Yyi-c',
        'https://www.toutiao.com/api/pc/feed/?max_behot_time=1581425927&category=__all__&utm_source=toutiao&widen=1&tad'
        'require=true&as=A1853E34D36A7FD&cp=5E43BAE7EFFD1E1&_signature=HSWrOAAgEBDbchK1XXegSB0l6iAAENqOoHL2tGvGmFXGcdHY'
        'knMSUDObnxVSydiRHMQ9qESbtN49-8H0CL4nRejMdYrv1pHS7TjnqorKPsWV8I.bx4O9oPN4h6qA-6Yyi-c', ]
    return urls


def page_parse(html):
    for i in range(0, 10):
        print(str(i) + html['data'][i]['title'])

def main():
    html = get_page(url_list())
    for html_every in html:
        page_parse(html_every)

if __name__ == '__main__':
    main()

其实有更好的方法，但无奈想尝试下利用 XHR 请求拿 json ，所以也就有了那一群地址

Python爬虫实战：爬取今日头条热搜新闻关键词全攻略
2201_76125261的博客
06-12 1070
热搜榜单页面（API接口返回的JSON数据动态加载的JavaScript渲染内容爬取时需根据网页结构选择合适方案。本文完整介绍了今日头条热搜关键词爬取项目，包括静态与动态网页爬取、异步爬取、多种存储方案及可视化方法。用Scrapy框架构建完整爬虫工程使用机器学习进行关键词聚类或趋势预测实现分布式爬虫系统搭建数据监控报警平台。
Python 爬虫实战：爬取今日头条热点，实现按分类自动筛选
最新发布
2503_91057718的博客
10-20 1417
本文将介绍一个Python爬虫程序，用于抓取今日头条热点新闻并实现分类筛选功能。该程序通过分析今日头条API接口，直接获取JSON格式数据，避免了复杂的HTML解析过程。文章详细讲解了程序的设计思路和实现方法，包括请求头伪装、异常处理、分类筛选等关键功能模块，并提供了完整的代码实现。程序能将抓取结果保存为JSON文件，方便后续分析处理。同时，文章还探讨了反爬机制的应对策略，如请求频率控制和参数动态处理等，并提出了代理IP池、数据可视化等扩展建议。该教程适合有一定Python基础的开发者学习动态网页爬取技术。
使用python-aiohttp爬取今日头条
SigalHu
04-16 1万+
在上一篇文章《使用python-aiohttp爬取网易云音乐》中，我们给自己的微信公众号添加了在线点歌的功能，这次我们再增加一个新闻浏览的功能。由于我平时浏览新闻用的是今日头条，所以在这里就想通过爬取今日头条来获取新闻。不过遗憾的是，这一次我在网上没有找到满意的方法，所以还是自己动手吧。
python爬取网页标题和链接,python爬取网页数据步骤
a159900的博客
06-20 1358
大家好，给大家分享一下python爬取网页内的指定内容，很多人还不知道这一点。下面详细解释一下。现在让我们来看看！t2 = () # 结束时间print(‘一般方法，总共耗时：%s’ % (t2 - t1))输出的结果如下(省略中间的输出，以……代替)：一般方法，总共耗时：724.呵呵43使用同步方法，总耗时约725秒，即12分钟多。一般方法虽然思路简单，容易实现，但效率不高，耗时长。那么，使用并发试试看。并发方法。
网易新闻头条API接口
骁拓云的博客
09-22 2766
网易新闻API接口提供每日头条新闻数据服务，支持JSON格式返回。需注册获取API密钥进行认证，通过GET请求可获取新闻标题、摘要、链接及来源等完整信息。涵盖多类新闻主题，每日更新，适用于新闻聚合、应用推送等场景。使用需遵守版权规定，注明来源"网易新闻"，并合理控制请求频率。免费用户有调用限制，历史新闻查询功能受限。
用python抓取一个网页的xhr,python爬取网站数据代码
chatgpt001的博客
03-22 1284
今天为大家带来的内容是4个详细步骤讲解Python爬取网页数据操作过程！(含实例代码）本文具有不错的参考意义，希望在此能够帮助到大家！**提示：**由于涉及代码较多，大部分代码用图片的方式呈现出来！
政策字典Python爬虫（XHR请求，详细过程附源代码）
ksksksj的博客
08-06 2599
【代码】人才山东—政策字典Python爬虫（XHR请求，详细过程附源代码）
爬取今日头条
qq_42030421的博客
04-09 2037
python爬取今日头条 学习爬虫有一段时间了，今天做个实战小项目，爬取今日头条的热点。很多人都喜欢刷头条， 本次将会爬取热点页面，每隔30秒抓取一次，并以追加的方式保存入文件中 难度：简单 工具： python：3.7（anaconda） 编辑器：pycharm2019.1 使用的模块：requests、json、time 关于pycharm的激活，有需要的朋友可以参考我的博客：pyc...
python爬取今日头条热点新闻事件,Python爬虫实战入门五：获取JS动态内容—爬取今日头条...
weixin_31533759的博客
03-26 1648
之前我们爬取的网页，多是HTML静态生成的内容，直接从HTML源码中就能找到看到的数据和内容，然而并不是所有的网页都是这样的。有一些网站的内容由前端的JS动态生成，由于呈现在网页上的内容是由JS生成而来，我们能够在浏览器上看得到，但是在HTML源码中却发现不了。比如今日头条：浏览器呈现的网页如下图所示：查看源码，却是如下图所示：网页的新闻在HTML源码中一条都找不到，全是由JS动态生成加载。遇到这...
python爬取今日头条评论,python3爬今日头条新闻
chatgpt002的博客
09-24 529
首先，打开第一个网络请求，这个请求的URL就是当前的链接，打开Preview选项卡查看Response Body。如果页面中的内容是根据第一个请求得到的结果渲染出来的，那么第一个请求的源代码中必然会包含页面结果中的文字。来创建文件夹，然后请求这个图片链接，获取图片的二进制数据，以二进制的形式写入文件。接下来，可以滑动页面，多加载一些新结果。这样一来，我们就可以通过接口批量获取数据了，然后将数据解析，将图片下载下来即可。不出所料，此处出现了一个比较常规的Ajax请求，看看它的结果是否包含了页面中的相关数据。
Python中的爬虫实战：今日头条爬虫
热门推荐
Ob2024的博客
06-23 22万+
本文将主要介绍Python中的爬虫实战，并重点介绍如何使用Python编写一个今日头条的爬虫程序。通过本文的介绍，我们了解了Python中爬虫的基本概念、常用库以及使用Python编写今日头条爬虫程序的方法。当然，爬虫技术是一项需要不断改进和完善的技术，对于如何保证爬虫程序的稳定性、避免反爬手段等问题，我们需要在实践中不断总结和完善。在开始介绍Python中的爬虫实战之前，我们需要先来了解一下爬虫的基本概念。执行程序后，将会输出今日头条首页的新闻列表，包括每条新闻的标题和链接地址。
【Python爬虫实践】 异步XHR爬取在线编程网站阿尔法Coding中已完成的代码
12-21
刚学完Python和爬虫，想实践一下，于是选定目标为这个学期使用的在线编程网站 网站如图，要爬取的是第二部分，Python语言练习 ** 思路分析： ** 课程看的是MOOC上北京理工大学嵩天老师的课程，这个网站与课程中给出的几个实例有所不同。该网站需要用异步XHR爬取。 由于在爬取该网站的过程中没有涉及到对标签的解析，或者遍历，所以并不需要使用BeautifulSoup库，使用request库获取网页内容即可。 将得到的数据进行提取。 在线编程页面的数据主要以json格式进行传输，了解json的格式后，仔细观察返回的数据的固定格式，可以对题目，内容以及完成的代码进行提取（提取涉及到字典和列
爬取今日头条Ajax请求
04-09
网址：https://www.toutiao.com/ 搜索头条 可以得到这个网址： https://www.toutiao.com/search/?keyword=街拍 开发者工具查看： 我们在搜索中并没有发现上面的文字，那么我们可以初步判定，这个由Ajax加载，然后渲染出来的。此时切换到xhr过滤，可以看到确实是ajax请求。 观察请求的特点，发现只有offset是改变的，而且一次加20,。 我们可以用它来控制数据分页，然后把图片下载下来。代码如下： import requests import os from urllib.parse import
python学习抓取头条首页新闻
09-26
学习Python3的demo，实现了抓取网页版今日头条新闻首页的内容，并解析输出到控制台，具体教程请移步博客：https://blog.youkuaiyun.com/xiaocy66/article/details/82829120
python爬取今日头条视频
01-15
python爬取今日头条视频
python爬虫-爬取今日头条(图集)
周先森爱吃素的博客
09-24 1931
1.工具使用 python的request包和json包 fiddle抓包工具 2.请求分析  我们访问该页面，抓取请求，得到如下结果。 不难发现，在图片加载之前数据量最大的就是search_content请求，其实了解后端开发的知道这是一个带参数的请求且参数之一就是搜索关键词，而且还有一个参数format=json，不妨猜测这是一个json请求，然后网页利用这个json文件进行...
Python-爬取今日头条美图
小吴Der
03-24 413
import requests from urllib.parse import urlencode import os from hashlib import md5 from multiprocessing.pool import Pool def get_page(offset): params = { 'aid': '24', 'app_name': 'web_search', 'offset': offset, 'forma
爬取今日头条街拍图片
Congcongrobot的博客
04-28 602
爬取今日头条图片
fetch/xhr爬取内容
05-31
### 使用 Fetch 或 XHR 进行网页内容爬取的方法和示例 在现代 Web 开发中，`Fetch` 和 `XMLHttpRequest (XHR)` 是两种常用的工具，用于实现浏览器与服务器之间的数据交互。以下将详细介绍如何使用这两种方法进行网页内容的爬取。 #### 1. 使用 Fetch API 进行内容爬取 `Fetch` 是一种较新的网络请求方式，相比传统的 `XHR`，它提供了更简洁的语法和更好的性能支持。以下是一个使用 `Fetch` 爬取网页内容的示例： ```javascript fetch('https://example.com/api/data') // 替换为目标 URL .then(response => { if (!response.ok) { throw new Error('Network response was not ok ' + response.statusText); } return response.json(); // 假设返回的是 JSON 数据 }) .then(data => { console.log(data); // 处理返回的数据 }) .catch(error => { console.error('There was a problem with the fetch operation:', error); }); ``` 上述代码展示了如何通过 `Fetch` 请求一个 API 并处理返回的 JSON 数据[^1]。 #### 2. 使用 XMLHttpRequest (XHR) 进行内容爬取 `XHR` 是一种较为传统的技术，但仍然广泛应用于需要兼容旧版浏览器的场景中。以下是一个使用 `XHR` 的示例： ```javascript const xhr = new XMLHttpRequest(); xhr.open('GET', 'https://example.com/api/data', true); // 替换为目标 URL xhr.onreadystatechange = function () { if (xhr.readyState === 4 && xhr.status === 200) { const data = JSON.parse(xhr.responseText); // 假设返回的是 JSON 数据 console.log(data); // 处理返回的数据 } }; xhr.onerror = function () { console.error('There was a network error.'); }; xhr.send(); ``` 这段代码展示了如何通过 `XHR` 发起一个 GET 请求，并解析返回的 JSON 数据[^3]。 #### 3. 结合 Python 和 BeautifulSoup 处理爬取的数据 如果目标是抓取网页中的动态加载内容（如通过 AJAX 加载的内容），可以结合 Python 和 `BeautifulSoup` 库来定位和提取数据。例如： ```python import requests from bs4 import BeautifulSoup # 模拟发送请求 url = "https://example.com/api/data" # 替换为目标 URL headers = {'User-Agent': 'Mozilla/5.0'} # 设置 User-Agent 防止被拒绝 response = requests.get(url, headers=headers) # 解析 JSON 数据 data = response.json() for item in data['data']['album']['list']: # 根据实际结构调整 print(item['albuname']) # 输出歌曲名 ``` 此代码片段展示了如何使用 Python 抓取并解析 JSON 数据[^2]。 #### 4. 注意事项 - 在爬取网页内容时，需确保遵守目标网站的 `robots.txt` 文件规定，避免违反法律或道德规范。 - 如果目标网站使用了复杂的 JavaScript 动态加载内容，可能需要借助工具如 `Selenium` 或 `Puppeteer` 来模拟浏览器行为[^4]。 ### 示例总结 - 使用 `Fetch` 或 `XHR` 可以轻松发起 HTTP 请求并获取服务器返回的数据。 - 结合 Python 和 `BeautifulSoup`，可以进一步处理和解析爬取到的内容。 - 对于动态加载的内容，了解其数据传输机制（如 AJAX）是关键。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值