(∪.∪ )...zzz的博客

2021.03.12 关于视频字幕（有无外挂字幕）的提取死磕一天的总结概述：①有外挂字幕---->视频网页---->F12---->nework----->打开字幕---->找到.json文件---->py转换格式即可②硬字幕：无外挂字幕---->bilibiliUWP下载视频---->下载esrXP、LAVFilters、格式工厂（分割）（bug无穷，在线哭泣）---->视频导入esrxp设置区域等……---->导出OCR

这里写自定义目录标题一、scrapy一些概念1. what2. scrapy流程3. 模块具体作用二、构造请求创建项目创建爬虫完成爬虫保存数据——管道三、scrapy建模、请求1. 在item.py中建模2. 使用——在爬虫中实例化3. 翻页处理一、scrapy一些概念1. whatscrapy，python 开源网络爬虫2. scrapy流程改写为：3. 模块具体作用二、构造请求开发：# 1. 创建项目scrapy startproject mySpider# 2.生成

这里写自定义目录标题一、mongodb二、安装一、mongodbmongodb NoSQL非关系数据库，C++编写直接存储海量数据二、安装解压tar zxf mongodb-linux-x86_64-debian10-5.0.3.tgz# mongodb-linux-x86_64-debian10-5.0.3.tgz创建文件夹mkdir /usr/local/mongodbcd mongodb-linux-x86_64-debian10-5.0.3/mv * /usr/loca

这里写自定义目录标题1. mongdb服务启动报错2. mongdb.conf3. 关闭服务4. 权限1. mongdb服务启动报错问题描述:就是说我一步一步安好了mongodb（解压，创文件存数据和日志，改.conf文件，启动服务却报错)如下：100100：一般是文件锁了，找到很多方案——把.lock删了就好1：文件没有配置好https://www.jb51.net/article/109091.htm然后，操作如下：2. mongdb.conf检查db、log路径要全

这里写自定义目录标题一、反爬原因二、服务器常反爬虫一、反爬原因爬虫占PV比例高，费钱（三月爬虫资源被批量抓走GREY二、服务器常反爬虫

这里写自定义目录标题一、selenium概述1. 运行操作2. 安装webdriver二、元素定位1. driver对象的常用属性、方法selenium自动化测试框架在爬虫的应用selenium大幅降低爬虫的编写难度大幅降低速度一、selenium概述1. 运行操作selenium是一个web自动化测试工具开发使用 有头浏览器，部署使用无界面浏览器webdriver本质是一个web-server，对外提供API，封装了浏览器的各种功能代码调用webdriver操作浏览器2. 安

目录一、概述1. 响应内容分类2. xml和html3. 数据解析二、jsonpath模块1. 提取数据的方法2. jsonpath语法规则3. jsonpath练习：获取拉钩网城市json文件中城市的名字三、lxml模块1. lxml模块和xpath语法2. xpath helper插件3. xpath 语法_如何找节点4.xpath语法_节点修饰语法① 通过索引② 通过属性值③ 通过子节点的值修饰节点④通过包含修饰5. xpath语法_通配符6.使用一、概述1. 响应内容分类结构化 （json数

学xpath，需要xpath helper插件打开浏览器的扩展、开发人员模式将.crx改为.rar再解压缩选择成功啦~

目录一、requests概述二、使用1. requests发送get请求2. response 响应对象2.1 解决中文乱码2.2 response响应对象的属性、方法3. requests发送header请求一、requests概述非转基因的python HTTP模块发送http请求，获取响应数据安装 pip/pip3 install requests二、使用1. requests发送get请求import requestsurl = "https://www.baidu.com"

这里写自定义目录标题1. what2. 思路3. 代码1. what 这个行号真的很烦噶 试着写一个py去掉2. 思路def second_of_str分割，取分隔符右边的元素返回一个列表def move传入文件路径，读取每行，列表存储，调用 second_of_str分割后的存入新列表主函数调用move3. 代码def second_of_str(str,splitsymbol): s = str.split(splitsymbol,1) # 分隔符右边的元素

目录一、概要1. 概念2. 作用3. 分类4. 流程5. http协议复习6. 关注请求头、请求体7. 状态响应码8. 浏览器运行 和 爬虫一、概要1. 概念模拟客户端发送网络请求接受请求按规则抓取信息的程序2. 作用数据采集（评论、信息）软件测试（selenium）抢票投票安全（漏洞扫描软件）3. 分类数量：通用爬虫：引擎 （无上限聚焦爬虫：抢票（专门抓某一网站是否获取数据：功能性爬虫：投票、点赞数据增量爬虫url是否变化url变化，数

这里写自定义目录标题re.match函数group匹配对象函数re.search方法区别学习笔记re 模块使 Python 语言拥有全部的正则表达式功能re.match函数re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。re.match(pattern, string, flags=0)# (标准，要匹配的，标志位)group匹配对象函数re.search方法扫描整个字符串并返回第一个成功的匹配。区别...

gkdpython内置函数切片运算符python内置函数t_dict = {"a":"z", "b":"y", "c":"x" }print(max(t_dict)) # cprint(min(t_dict)) # a切片# 字符串可切片# 列表可切片# 元组可切片# 字典不可切片print([0,1,2,3,4][1:3]) # [1, 2]print((0,1,2,3,4)[1:3]) # (1,2)

这里写自定义目录标题定义索引常用方法转义字符定义# 使用双引号定义# 也可使用单引号str = "hi"str_1 = 'py'str_2 = '我的"xxx"' 索引从0开始string = "nihaoya"for i in string: print(i)# 字符串长度print(len(string))# 统计某字符出现次数print(string.count("a")) # 2print(string.count("abc")) # 0# 子字符

这里写自定义目录标题列表 list常用操作循环遍历元组 Tuple常用操作：取值取索引、计数元组的应用场景元组、列表 的转换字典 dictionary字典 常用操作：增删改查统计、合并字典的遍历字典和列表列表 list其他语言中——数组存储一串信息[x,y,z]列表的索引从0开始不可超出所应范围，会报错常用操作list01 = ["1","2","3","3","2","6"]# del 是从内存中删除del list01[1]print(list01)#

函数的作用封装代码的重用函数定义def是define缩写调用函数，才会执行函数必须 先定义，后调用调试函数内部，断点打在调用函数行函数体上方 空两行函数名括号里填写参数参数形参实参返回值return关键字函数体里return以后的代码都不会被执行函数嵌套...

加油子程序的流程while循环赋值运算符练习0-100求和练习0-100偶数求和在循环体内部的关键字breakcontinuei=0i++i<3i=1i++i<=3程序的流程顺序 ：从上向下分支：条件判断，决定执行分支循环： 特定代码 重复执行while循环例：i = 1# 容易忘记写 ：while i <=10: print("哦嚯") i=i+1print("done!")# 若将i自增注释掉，则变为死循环赋值运算

目录if语句关系、逻辑运算符elif 语句if 语句嵌套练习编写石头剪刀布if语句age = int(input("how old are you:"))if age >= 18: print("adult")else: print("oops")关系、逻辑运算符==相等!=不等于>=大于等于<=小于等于and与（&&）or或not非elif 语句while(1):

目录python概述python概述编译型语言解释型语言编译器解释器最终形成可执行文件逐行解释源代码慢快跨平台