小爬虫， requests的应用

关注

原创最新推荐文章于 2026-06-27 09:40:42 发布 242 阅读 AI 写同款· GEO 优化 ›

爬虫——有关抖音商品数据的爬取（蝉妈妈数据平台）总体代码运用了selenium自动化模块，能够有效地应对平台的反爬机制，从而有效地获取到网页的数据，但又由于使用的是selenium自动化模块，所以总体的代码运行效率不是很高，耗时长。整个数据预处理总体上使用了excel的功能，虽有效地解决了要解决的问题，但有些处理过程并不简单有效率，预处理只做了剔除重复值，删除空白字段，和对销售区间进行等级映射赋值，还有其他的预处理过程并未进行，使得数据格式或有效程度未达到最大。阅读详情

第一步：

首先。你可以通过下面这个命令，来查看你是否拥有这个包名

pip list

如果没有，你可以通过下面这个命令来下载：

pip install requests

你也可以通过pypi网站进行下载，下载网址如下：

requests · PyPI

第二部，使用requests模块

一个小应用，应用requests模块，爬取抖音短视频。

首先，进入网页版的抖音：https://www.douyin.com/

点击f12，选择网络，媒体我们可以就看到网络的请求连接：请求网址，请求方法，分析完毕

接下来，我们开始进行编码吧，开始喽！

# 引入requests模块
import requests
# 视频链接
url = "https://v3-web.douyinvod.com/f810805bb9bb97506c87336d9e944900/653cbcd8/video/tos/cn/tos-cn-ve-15c001-alinc2/oMqa1GbISE7eiIWQGCLJA7fGAYEnJBQhedtB1D/?a=6383&ch=5&cr=3&dr=0&lr=all&cd=0%7C0%7C0%7C3&cv=1&br=2387&bt=2387&cs=0&ds=6&ft=bvTKJbQQqU-~fJoZPo0OW_EklpPiXpMnfFVJElq4~QbPD-I&mime_type=video_mp4&qs=0&rc=ZjxkPGZpOGY4PDhlOzM8OkBpM293cmo5cnhobTMzNGkzM0BhNV8zX2AuX2IxMGNhL2I2YSMzaTZsMmRramFgLS1kLS9zcw%3D%3D&btag=e00028000&dy_q=1698475485&feature_id=f0150a16a324336cda5d6dd0b69ed299&l=202310281444430352165BD3DF714ABB04"
# 向连接发送一个get请求进行相应
response = requests.get(url)
# 下载视频，wb:以二进制方式 shipin.mp4视频的名字以及格式
with open('shipin.mp4', "wb") as f:
# 保存
    f.write(response.content)

以上就是这次的全部代码了。赶紧试一试吧