抖音数据采集，最全python库selenium自动化使用！

最新推荐文章于 2025-05-16 15:16:11 发布
最新推荐文章于 2025-05-16 15:16:11 发布
阅读量2.4k 收藏 25
点赞数 3
CC 4.0 BY-SA版权
分类专栏： Python 文章标签： 定位 火狐 chrome selenium 软件测试
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43881394/article/details/111211465
本文详细介绍了如何使用Python的Selenium库进行数据采集，涵盖从安装Selenium到初始化不同浏览器，再到设置窗口大小、定位网页元素、执行JavaScript、处理frame、操作cookie、管理选项卡、模拟鼠标事件、等待策略以及导航操作等全面步骤，特别适合进行自动化测试和数据抓取。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、安装selenium

pip install Selenium

二、初始化浏览器

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

  • Chrome 是初始化谷歌浏览器

  • Firefox 是初始化火狐浏览器

  • Edge 是初始化IE浏览器

  • PhantomJS 是一个无界面浏览器。

from selenium import webdriver
 
driver = webdriver.Chrome()

三、设置浏览器大小

  • maximize_window 最大化窗口

  • set_window_size 自定义窗口大小

from selenium import webdriver
 
driver = webdriver.Chrome()
driver.maximize_window()

四、访问页面

from selenium import webdriver
 
driver = webdriver.Chrome()
 
driver.get('https://www.baidu.com')

五、定位元素

  • 定位元素的基本方法如下

定位一个元素

定位多个元素

解释
最低0.47元/天 解锁文章

200万优质内容无限畅学
如何使用Python采集抖音/TikTok视频元数据：完整爬虫教程
2201_76125261的博客
05-14 1639
抖音（Douyin）和TikTok是全球最受欢迎的短视频平台之一，每天都有海量的用户上传视频，平台上的内容多种多样，涵盖了娱乐、教育、科技、生活等各个方面。通过分析这些视频元数据，我们可以获得有价值的趋势、用户兴趣、互动模式等信息，进而进行社交分析、市场研究等应用。
selenium自动化发送dy私信并关注用户
hxxxxx111的博客
09-23 4166
通过python界面跑selenium自动化，从视频中的评论区取用户，给dy用户发送私信并关注用户 一、打开网页并登陆dy 挑选一个需要使用视频的用户，在该用户的视频评论里面关注其他用户，打开该用户的主页 用户主页访问后，会自动出现登陆的窗口，这里设置了等待时间，用于人工登陆（因为dy是扫码或者验证码登陆，无法做成自动登陆）
selenium自动化测试绕过登录
qq_48095625的博客
02-23 815
绕过登录
利用Python爬虫获取店铺所有商品：技术实践与应用指南
2401_87849308的博客
01-02 1367
通过本文的介绍，你已经了解了如何使用Python编写爬虫来获取特定店铺的所有商品信息。爬虫技术的应用非常广泛，但同时也伴随着一定的法律和道德风险。正确、合理地使用爬虫技术，可以帮助我们在数据的海洋中挖掘出有价值的信息，为电商行业的发展提供助力。请注意，本示例代码仅供学习和研究使用，实际应用时需要根据目标店铺网站的具体结构和反爬机制进行相应的调整。同时，务必遵守法律法规，合法合规地使用爬虫技术。
抖音私信自动回复机器人-RPA应用全自动模拟人工操作
程序员老狼专注开发aigc或客服系统应用
02-25 1609
全自动模拟人工操作，对接ChatGPT回复，重点解决三分钟回复率问题 支持任何类型的抖音账号，不需要企业权限 基于Python + seleinum 实现，循环监听网页版抖音界面，有私信到来就点击自动回复 ...
python采集抖音数据_抖音数据采集，最全python库selenium自动化使用！
weixin_39860583的博客
12-17 1291
driver = webdriver.Chrome()driver.maximize_window()四、访问页面from selenium import webdriverdriver = webdriver.Chrome()driver.get('https://www.baidu.com')五、定位元素定位元素的基本方法如下定位一个元素定位多个元素解释实例演示: 找到百度首页的输入框from...
Python Selenium实现抖音评论数据的 自动化采集 附源码
m0_74972192的博客
08-04 5860
配置无头浏览器：通过设置 Chrome 选项，使浏览器在后台运行，不显示图形界面。访问网页：使用 Selenium 打开抖音网页，并等待页面加载完成。提取数据：获取包含特定属性的div元素，并遍历其中的span元素，提取用户、评论和时间信息。数据处理：过滤掉不需要的内容，并将分类后的数据写入到文本文件中。关闭浏览器：完成数据提取后，关闭浏览器。
【开源工具】抖音数据分析工具：Python+DrissionPage高颜值打造（附完整源码）
最新发布
白泽的博客
05-16 3380
本文介绍了一款基于Python和DrissionPage开发的抖音数据分析工具，具备高效数据采集和可视化功能。工具亮点包括现代化UI设计、高性能采集引擎、多维数据分析、一键导出数据等。核心功能模块涵盖数据采集、用户分析、视频分析、智能分析和可视化展示。文章详细解析了工具的特色功能、UI设计、使用指南及核心代码实现，并提供了源码下载链接。该工具通过DrissionPage替代Selenium，结合精心设计的UI框架，打造了一款颜值与实力并存的分析利器，适合二次开发与深度数据分析需求。
python+selenium+douyin 批量留言互粉代码
weixin_41158461的博客
04-29 1332
【代码】python+selenium+douyin 批量留言互粉代码。
selenium抖音
m0_52061496的博客
09-21 1596
from selenium import webdriver import time import pymysql def login(): ''' 模拟登录（不是） ''' driver.get( 'https://www.douyin.com/search/%E5%A4%AE%E8%A7%86%E7%96%AB%E8%8B%97?publish_time=0&sort_type=1&source=normal_search&t.
selenium爬取b站评论
m0_52061496的博客
09-20 903
from selenium import webdriver from selenium.webdriver.chrome.options import Options import time from lxml import etree import pymysql def clear_page(): """ 功能：下拉到底端时，视频以小窗形式播放，关闭 """ try: driver.find_element('//*[@id="bili-search.
python+selenium+chrome设置geo经纬度地理位置并自动发布抖音视频
06-29
基于抖音创作平台用户登录后的Cookie实现抖音视频自动发布，可以设置经纬度地理位置。
python爬取视频评论数据
weixin_46913162的博客
06-13 5202
用python爬取小视频数据和评论数据
python selenium爬取 评论 爬虫 代码实现
qq_43357429的博客
03-03 405
【代码】python selenium爬取评论。
Python爬虫——selenium爬取网易云评论并做词云
霖hero
09-01 3781
大家好！我是霖hero 到点了上号网易云，很多人喜欢到夜深人静的时候，在网易云听音乐发表评论，正所谓：自古评论出人才，千古绝句随口来，奈何本人没文化，一句卧槽行天下！评论区集结各路大神，今天我们来爬取网易云音乐评论并做个词云图，看看大家都评论了啥。 目录 爬取分析 正式爬取 selenium 爬取网易云评论 获取子Frame内容 获取评论 保存评论 结果展示 制作词云 结果展示 爬取分析 首先我们打开网易云的某首歌曲，打开开发者工具，如下图所示： 通过观察可以发现，网易.
python爬虫实战——DouYin
热门推荐
@zhujj_的博客
03-12 2万+
以登录状态（或者有cookies本地存储等状态）访问目标博主页面，滚动到作品最底部，然后在控制台中执行JavaScript脚本，获取全部作品的信息（在这里是作品链接以及作品类型），然后写出到文本文件中。上述的操作是在无登录状态下进行的，即使在webdriver中操作让页面滚动，也只能获取到有限的作品，大约是 20 项左右。然后在python中读入该文件，使用json解析，转成字典列表的形式，遍历列表，对每一个字典（就是每一个作品）进行处理即可。进入作品页前 判断作品是视频作品还是图文作品。
字节跳动Selenium面试题、笔试题（含答案）
06-20 799
1、什么是测试自动化或自动化测试？自动化测试使用自动化工具来编写和执行测试用例，执行自动化测试套件不需要人工参与。测试人员更喜欢自动化工具来编写测试脚本和测试用例，然后组合成测试套件。 自动化测试允许使用专门的工具来自动执行手动设计的测试用例，而无需任何人工干预。自动化测试工具可以访问测试数据，控制测试的执行并将实际结果与预期结果进行比较。因此，生成被测系统的详细测试报告。
selenium搜索关键字爬虫
weixin_50835854的博客
06-03 1398
系列文章目录 第一章：selenium实现爬虫功能selenium爬取图片实例 第二章：selenium实现增量式爬虫功能增量式爬虫 第三章：selenium搜索关键字爬虫 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 自上次爬取完了4Ｋ美女的图片之后，发现动漫栏里边也有很多好看的的美女壁纸，但是如果直接爬取整个动漫栏则会出现很多多余的图片，所以这次采用了搜索关键字进行爬取。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例
抖音小店、巨量登入，滑动验证码识别
Sajor的博客
07-12 4426
继图形验证码后，自动化验证图形滑动验证码，抖音小店、巨量纵横均可，自动识别滑动验证码。
python数据挖掘项目抖音
03-13
### Python 数据挖掘抖音项目示例 #### 使用Python进行抖音数据挖掘的技术栈 对于抖音的数据挖掘，可以采用类似于其他社交媒体平台的方法和技术栈。由于抖音的内容也存在动态加载等问题，因此需要综合运用多种工具来完成数据获取和处理工作。 - **Requests**：用于发送HTTP请求并接收响应内容，适用于静态页面或者API接口调用[^1]。 - **BeautifulSoup** 或 **lxml**：负责解析HTML文档，从中抽取所需的信息，比如视频链接、描述文字等。 - **Selenium**：当遇到JavaScript渲染的网页时，可以通过此库驱动浏览器实例执行自动化操作，从而获得完整的DOM树结构[^2]。 - **Scrapy框架**：如果计划构建更复杂的爬虫应用，则推荐使用这个强大的异步网络爬虫框架来进行大规模的数据采集任务。 - **TikTok API (非官方)**：虽然字节跳动并未提供像YouTube那样开放式的开发者接口给到公众访问全部功能，但是网上存在着一些第三方开发维护的小型API服务可供测试用途；不过需要注意合法性风险以及可能存在的不稳定因素。 #### 实现流程概述 为了从抖音平台上收集有价值的数据集，在实际编程过程中通常会经历以下几个阶段： - 定义目标范围内的关键词列表作为搜索条件输入参数； - 构建合适的URL模式匹配规则以便于后续批量构造查询地址； - 利用上述提到的各种手段组合起来定期轮询指定位置处的新鲜素材资源； - 对原始抓取下来的杂乱无章字符串序列做初步清理转换成易于理解的标准格式； - 进一步利用`pandas`这样的高效表格计算引擎整理汇总统计指标数值； - 借助诸如`matplotlib`, `seaborn`, `pyecharts`之类的绘图组件直观呈现分析结论图表形式展示出来。 ```python import requests from bs4 import BeautifulSoup import pandas as pd import matplotlib.pyplot as plt def fetch_douyin_data(keyword, page=1): url = f"https://www.douyin.com/search/{keyword}?type=video&page={page}" headers = { 'User-Agent': 'Mozilla/5.0' } response = requests.get(url=url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") items = [] for item in soup.select('.search-item'): title = item.find('h3').get_text(strip=True) author = item.find(class_='author-name').get_text(strip=True) items.append({ 'title': title, 'author': author }) df = pd.DataFrame(items) return df if __name__ == '__main__': keyword = input("请输入要查找的关键字:") dataframes = [] try: for i in range(1, 6): # 默认最多翻阅前五页的结果 dataframe = fetch_douyin_data(keyword, i) dataframes.extend(dataframe.values.tolist()) final_df = pd.DataFrame(dataframes, columns=['Title', 'Author']) print(final_df.head()) # 绘制柱状图显示不同作者的作品数量对比 counts = final_df['Author'].value_counts() fig, ax = plt.subplots(figsize=(8, 6)) bars = ax.bar(counts.index[:10], counts.values[:10]) ax.set_xlabel('Authors') ax.set_ylabel('Number of Videos') ax.set_title(f'Top Authors by Number of "{keyword}" Related Videos') plt.show() except Exception as e: print(e) ``` 该脚本展示了如何基于特定关键字检索抖音上的相关视频，并简单地进行了创作者作品数目的统计与可视化表示。当然这只是一个非常基础的例子，真实场景下的需求往往更加复杂多变，还需要考虑更多细节方面的要求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值