
网络爬虫
妹特斯邦威
这个作者很懒,什么都没留下…
展开
-
Scrapy 中 Request和 Response的各参数及属性介绍
Request 对象Request构造器方法的参数列表:Request(url [, callback=None, method=‘GET’, headers=None, body=None,cookies=None, meta=None, encoding=‘utf-8’, priority=0,dont_filter=False, errback=None, flags=None])各参...原创 2019-10-31 12:01:13 · 821 阅读 · 0 评论 -
用requests下载图片
按照惯例,直接代码import requestsdef download_img(url,num): # 下载图片 r = requests.get(url, stream=True) print(r.status_code) # 返回状态码 if r.status_code == 200: open('./img_{}.png'.format...原创 2019-09-26 11:42:53 · 3548 阅读 · 0 评论 -
用requests下载视频
直接上代码import requestsdef down_video(): header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'} url = 'ht...原创 2019-09-26 11:40:55 · 4372 阅读 · 2 评论 -
计算文件的MD5值并改名
废话不多说,直接代码import hashlibimport os#求文件md5并改名为MD5值filename = '1234.mp4'file = open(filename,'rb')md5 = hashlib.md5(file.read()).hexdigest()file.close()os.rename(filename,'{}.{}'.format(md5, fil...原创 2019-09-26 10:48:12 · 335 阅读 · 0 评论 -
you-get 下载视频
python使用的版本为3.6.51、安装you-getwin+R打开运行窗口,输入cmd,输入 pip install you-get,等待安装完成必要的依赖库 ffmpeg,合并分块视频,安装方式同上2、you-get参数基本格式:you-get url附加参数:-i 查看视频的相关参数-o 为设置视频保存位置-O 为设置视频文件名字-n 以下载流式视频以及合并分...原创 2019-09-26 10:06:20 · 233 阅读 · 0 评论