Python实现批量采集美女视*频 <无水印>

本文介绍了一个基于Python的爬虫项目,详细讲解了如何利用Python3.8、Pycharm及Selenium等工具抓取网页视频资源的过程。从环境搭建到代码实现,再到数据解析与保存,全面展示了爬虫项目的实施步骤。

前言

大家早好、午好、晚好吖 ❤ ~

我给大家准备了一些资料,包括:

2022最新Python视频教程、Python电子书10个G

(涵盖基础、爬虫、数据分析、web开发、机器学习、人工智能、面试题)、Python学习路线图等等

直接在文末名片自取即可!

环境使用:

  • Python 3.8

  • Pycharm

  • 谷歌浏览器

    谷歌驱动 —> 驱动版本要和浏览器版本最相近 <大版本一样, 小版本最相近>

模块使用:

  • requests >>> pip install requests

  • selenium >>> pip install selenium==3.141.0 <需要浏览器和浏览器驱动>

    默认安装 4.0版本 语法上面有点区别

  • re

  • json

卸载模块: pip uninstall selenium 卸载模块

安装python第三方模块:

  1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

  2. 在pycharm中点击Terminal(终端) 输入安装命令

基本思路流程: <通用>

一. 数据来源分析:
  1. 明确需求:

    • 采集什么数据内容

      I. 视频播放链接

      II. 视频标题

  2. 通过浏览器自带工具: 开发者工具, 进行抓包分析

    • 打开开发者工具: F12 / 鼠标右键点击检查选择network

    • 刷新网页: 让本网页数据内容重新加载一遍

    • 分析/找到 视频播放链接在哪里

      1. 选择 media <媒体文件> 可以直接看到 视频播放链接

      2. 通过搜索分析可以直接找到 视频播放链接/ 视频标题

二. 代码实现步骤:
  1. 发送请求, 模拟浏览器对于url地址发送请求

  2. 获取数据, 获取服务器返回响应数据

    开发者工具: response <网页源代码>

  3. 解析数据, 提取我们想要的数据内容

    • 视频标题

    • 视频播放链接

  4. 保存数据, 把视频内容保存本地文件夹

代码展示

导入模块

 导入数据请求模块
import requests
# 导入正则表达式
import re
# 导入json模块
import json
# 导入格式化输出模块
from pprint import pprint
# 导入自动化测试模块
from selenium import webdriver
# 导入时间模块
import time

创建浏览器对象, 实例化对象 自动打开浏览器

driver = webdriver.Chrome()

访问网址

“”“执行页面滚动的操作”“”

def drop_down
此源码为了缩减内容不带任何图片数据,请搭建后自己采集或者录入,采集不会的话可以百度找一下采集教程,,也可以直接去淘宝上找做采集的,价格也不是很贵! 本帖资源标签:WordPress自适应图片主题,主题模板,带会员积分下载系统 分类和标签添加筛选功能; 列表增加用户自定义排序功能,支持点赞和浏览数量排序; 优化二级菜单和三级菜单的css样式; 支持会员功能和用户中心模板; 支持第三方快速登陆(QQ和新浪); 新增单图模式,全新的图片浏览模式; 新增登陆、注册、找回密码三合一页面模板; 新增文章点赞排行榜页面; 新增AJAX列表加载功能; 新增广告投放面板; 支持点卡充值和点卡生成功能; 支持积分签到功能; 支持评论和投稿奖励积分功能; 支持积分开通会员功能(目前内置3个级别的会员); 支持积分下载资源和免费资源下载; 支持vip免费资源添加; 新增下载资源管理员和作者查看下载次数和校验资源功能; 支持文章前台投稿功能; 支持前台开启相对地址和绝对地址切换功能; 新增图片自动分页功能; 新增图片分页浏览模板; 新增后台列表显示缩略图和封面图片功能; 全新的SEO功能; 新增文章收藏功能; 新增文章顶踩功能(踩的按钮目前只在单图模式显示); 新增图片预加载功能; 幻灯片支持外链和自定义大图; 源码测试环境推荐php5.2/5.3/5.4Mysql 安装说明: 上传文件拿到网站根目录,直接安装即可,附带wordpress。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值