Python 爬虫

一、创建项目

1.双击打开pycharm，点击新建项目
2.项目设置
	- 勾选[继承全局站点软件包]
	- 勾选[可用于所有项目]
	- 取消勾选[创建main.py欢迎脚本]
	- 点击创建
3.项目名称右键--新建--python文件
4.输入文件名--回车

二、编辑代码

# 导入请求模块
import requests
# 如果报错，需要先安装模块
# windows：cmd中执行：pip install requests
# Mac：       终端中执行：pip3 install requests


# 视频url
# url获取方式：
# 1.首先打开视频的网页，然后打开开发者工具
# 2.选中网络(Network)   选中媒体(Media)
# 3.点击上方刷新按钮，就能看见一条或者两条数据
# 4.点击这条数据，右侧出现“标头”，在“标头”的“常规”下面，找到“请求网址”即为url，复制过来
url = ''

# 使用requests的get获取网站的响应
res = requests.get(url)

# 打开一个空的视频，把得到res.content放进去，得到一个可以播放的视频
open('KSVideo.mp4','wb').write(res.content)

有的网站视频和音频是分开的，url也是分开的，需要分开抓取，获取视频、音频url方式如下

1.首先打开视频的网页，然后打开开发者工具
2.选中网络(Network) 点击全部(All)
3.点击上方刷新按钮，下方能看到很多条数据，点击数据上方的“大小”，使多条数据从大到小排列。点击最上面的（最大的那一条），右侧出现“标头”，在“标头”的“常规”下面，找到“请求网址”即为视频url。然后点击下面的几条找到音频的url。

# 导入请求库
import requests
# 视频URL
videourl = ''
# 构造伪装信息
# user-agent、referer、cookie在上面截图右侧【标头】下方获取，没有的值空着就行
headers = {'user-agent':'','referer':'','cookie':''}
# 带上伪装信息去请求
res = requests.get(videourl,headers=headers)
# 打开一个文件并且写入
open('video.mp4','wb').write(res.content)
# 音频url
audiourl = ''
# 构造伪装信息
# user-agent、referer、cookie在上面截图右侧【标头】下方获取，没有的值空着就行
headers1 = {'user-agent':'','referer':'','cookie':''}
# 带上伪装信息去请求
resaudio = requests.get(audiourl,headers=headers1)
# 打开一个文件并且写入
open('audio.mp3','wb').write(resaudio.content)