用Python采集微博视频,随时随地发现新鲜事~

爬取微博视频页并批量下载python+requests+ffmpeg(连接视频和音频) 爬取微博视频页并下载 所需工具: python3. ffmpeg开源程序 (FFmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。) 阅读详情

前言

本次目的:用Python采集微博视频

随时随地发现新鲜事!微博带你欣赏世界上每一个精彩瞬间,了解每一个幕后故事.
分享你想表达的,让全世界都能听到你的心声!今天我们通过python去采集微博当中好看的视频.

知识点:

requests  第三方模块 pip install requests
post请求方式
开发者工具的使用

开发环境:

版  本:python  3.8
编辑器:pycharm 2021.2

思路分析

https://www.weibo.com/tv/api/component?page=%2Ftv%2Fchannel%2F4379160563414111%2Feditor

代码实现

1. 发送请求
2. 获取数据
3. 解析数据
4. 发送请求 针对于生成视频链接接口
5. 获取数据
6. 解析数据
7. 保存数据

开始我们的代码

导入模块

import requests
import re

加一个小伪装

headers = {
   
   
    'cookie': 'SUB=_2AkMWuiaof8NxqwJRmfEcxW7kZYV1zQHEieKg5tdzJRMxHRl-yT8XqmlbtRB6PToIR8vzOUazMyBaDx1yoAhoGvmhBh2R; SUBP=0033WrSXqPxfM72-Ws9jqgMF55529P9D9WFhP5UbeyRGEMWCEO66rKKN; SINAGLOBAL=4378435525987.705.1642506657635; UOR=,,www.baidu.com; YF-V-WEIBO-G0=35846f552801987f8c1e8f7cec0e2230; _s_tentry=www.baidu.com; Apache=3198609812447.024.1647671292904; ULV=1647671293014:4:2:2:3198609812447.024.1647671292904:1647496624245; XSRF-TOKEN=ZPnKMpYcxCvUsgDmUWvm7Jwi',
    'origin': 'https://www.weibo.com',
    'page-referer': '/tv/channel/4379160563414111/editor',
    'referer': 'https://www.weibo.com/tv/channel/4379160563414111/editor',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36',
    'x-xsrf-token': 'ZPnKMpYcxCvUsgDmUWvm7Jwi'
Python采集微博评论做词云图 1. 发送请求 -> 模拟浏览器对于url地址发送请求 2. 获取数据 -> 获取服务器返回响应数据 3. 解析数据 -> 提取评论内容 4. 保存数据 -> 保存本地文件 (文本 csv Excel 数据库) 阅读详情

相关推荐

Python采集微博评论数据,让评论告诉我们最近热议话题

win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源)键值对取值: 根据冒号左边的内容[键], 提取冒号右边的内容[值] 第一页链接参数改成和后面链接参数一样 查看是否能够请求。发送请求: 模拟浏览器对于url地址发送请求。模拟浏览器 (字典: 构建完整键值对)解析数据: 提取我们需要的数据内容。保存数据: 保存数据即可。

python56123的博客 1132

Python采集热搜评论数据,制作词云分析,又是吃瓜的一天

哟,又是吃瓜的一天

kakA的博客 2535

Python实战 | 自动下载微博视频并重命名的全流程爬虫教程

在当前的大数据与社交媒体时代,微博作为中国最大的社交平台之一,积累了海量的短视频内容,涵盖新闻、娱乐、教育、搞笑等各类信息。许多用户希望能够批量下载微博上的精彩视频然而,由于微博页面的JavaScript动态加载反爬虫机制以及资源地址加密等问题,传统的静态HTML爬虫已经难以胜任。✅ 自动登录微博(模拟登录)✅ 输入关键词或微博链接批量搜索并提取视频✅ 自动下载视频(支持高清)✅ 自动重命名视频(按博主昵称 + 视频发布时间)✅ 可扩展为批量爬取多个账号/关键词视频。

2201_76125261的博客 751

Python 爬虫实战:微博移动端视频接口解析(视频下载 + 反爬策略)

微博作为国内领先的社交媒体平台,每天都有海量的视频内容产生。由于微博视频通常没有直接的下载链接,且存在一定的反爬虫机制,因此爬取微博视频具有一定的挑战性。本文将详细介绍如何使用 Python 爬虫技术,结合 Playwright 和 Requests 库,实现微博移动端视频的下载,并应对常见的反爬虫策略。

yansideyucsdn的博客 1026

Python爬取新浪微博数据:Cookie与接口实战解析

网络爬虫是数据采集的重要技术手段,其核心在于模拟浏览器请求、解析结构化数据并存储为可用格式。在实际工程中,爬虫的难点常在于登录态维持与接口动态变化。通过Python的requests库携带Cookie构建请求头,可有效绕过登录限制;结合JSON解析与数据清洗,能将非结构化内容转化为可分析的表格数据。这种方法广泛应用于舆情监控、市场调研及热点追踪等领域。本文以新浪微博为实例,详细拆解从浏览器获取Cookie、定位ajax接口、处理相对时间与HTML正文,到分页抓取与断点续传的完整流程,帮助读者掌握一套可迁移至

weixin_34297704的博客 372

INCA_ProF脚本教程

一、首先INCA软件是当前主流标定开发软件之一,尤其在动力系统控制器的标定中应用非常广泛;与此同时ProF编程脚本是INCA软件提供各种实用功能之一,使用者可根据需求编写ProF脚本语言对ECU闪存编程等各种自定义操作。 二、然而ProF脚本语言在ETAS的官网或其他网络上并没有专门的使用教程,通常只有ETAS技术支持人员提供的ProF Documentation文档或少量可参考的Demo案例,然而ProF Documentation文档仅涉及ProF语言的函数的操作说明,没有从全局的框架上介绍Pro

weixin_29389627的博客 1万+

Spring Boot Admin 完整教程

SpringBootAdmin是一个用于管理和监控SpringBoot应用的Web工具,提供健康检查、性能指标、日志管理等核心功能。系统由AdminServer(管理服务器)和AdminClient(客户端)组成,通过Actuator端点收集数据。配置需添加Maven/Gradle依赖,通过@EnableAdminServer注解启动服务端,客户端需配置注册信息。支持UI自定义、安全认证(基本/OAuth2)、多种通知方式(邮件/Slack)及与Eureka/Consul等服务发现的集成。最佳实践包括分层监

weixin_51040479的博客 2558

MIPI信号的分析--结合示波器实际测试波形

如果排查的思路对你有帮助,请记住 消雨匆匆 or 大吊工。码字和排查很累,仅此而已 ,硬件不是抄电路,拿烙铁,懂点软件,细致分析,找问题和破案搜集线索是一样的。 部分内容来自于此博客的大神总结: http://www.elecfans.com/news/wangluo/20170323499614.html http://www.elecfans.com/yuanqijian/jieko...

消雨匆匆 4万+

时间序列聚类在股票市场分析中的实践与优化

时间序列聚类是一种面向动态行为建模的无监督学习方法,其核心在于通过语义感知的距离度量(如DTW)捕捉价格形态的相位弹性与结构相似性,而非依赖静态数值或标签驱动。相比K-Means等传统算法,它能有效缓解金融时序中普遍存在的噪声敏感、对齐失效与形态失真问题,从而提升聚类结果的市场可解释性与策略鲁棒性。该技术已广泛应用于市场状态识别、行业行为分群、异常交易监测等场景,并成为构建可验证量化分析框架的关键预处理层。本文聚焦A股真实行情数据,详解从原始OHLCV到可聚类时间序列的完整链路,涵盖DTW距离计算、层次聚类

weixin_34220179的博客 832

Proteus课设原理图及报告

1. I/O 口:32 个可编程 I/O 引脚,分成 4 个并行 I/O 端口 (P0, P1, P2, P3),P0 功能段选 a、b、c、d、e、f、g、dp 使其中部分点亮,P2 功能为位选 1、2、4.按键操作分析:P3.0-设置时钟的时间,P3.1-确定更改的时钟时间,P3.2-对。时钟设置标志 0 不设置,1 设置时,2 设置分,3 设置秒。P3.0 按下的次数对应 不设置,设置时,设置分,

2303_76688805的博客 1184

【数据攻略】字节面试真题(含答案)+100道面试题库

数据攻略

qq_40002713的博客 4104

某盾blackBox逆向——纯算

某盾blackBox逆向——纯算

Lzyydsb的博客 5893

从零构建法律案例数据库:Python爬虫实战与法律文本挖掘全攻略

在当今数字化浪潮席卷全球的背景下,法律行业正经历着前所未有的变革。法律案例数据库作为法律大数据的重要组成部分,已经成为法律从业者、研究人员、法学院学生乃至企业法务部门的必备工具。然而,商业法律数据库如北大法宝、威科先行、LexisNexis等往往价格不菲,且数据访问受限。对于个人研究者或小型机构而言,构建一个定制化的法律案例数据库不仅能节省成本,更能根据特定研究需求灵活调整数据结构。

2201_76125261的博客 539

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

上一篇: Python实现下载全球最大旅游网站Tripadvisor美食数据~
下一篇: Python采集一下cosplay图片,满足你爱看美人的要求~
魔王不会哭
博客等级 码龄5年 6003粉丝 394原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值