简单爬取网页上小视频

简单爬取一下短视频并保存在文件夹中

# 短视频
import requests
import pprint #查看自动格式化的json数据

# 爬虫的一般思路
# 1.分析目标网页，确定爬取的url路径，headers参数
base_url = 'https://v.6.cn/minivideo/getlist.php?act=recommend&page=1&pagesize=20'
head = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/80.0.3987.149 Safari/537.36'}

# 2.requests模拟浏览器发送请求
response = requests.get(base_url, headers=head)
json_data = response.json()
# pprint.pprint(json_data)  # 自动进行数据格式化

# 3.解析数据 json模块：把json字符串转化成python可交互的数据类型
data_list = json_data['content']['list']

# 4.保存数据在目标文件夹中
for data in data_list:
    video_title = data['title'] + '.mp4'
    video_url = data['playurl']
    # print(video_title, video_url)
    # 发送视频数据的请求 视频数据是二进制数据
    print('正在下载', video_title)
    video_data = requests.get(video_url, headers=head).content
    with open('video\\' + video_title, 'wb') as f:
        f.write(video_data)
        print('下载完成...\n')