m0_65592409的博客

解析url：首先打开网页，按F12，接着点击XHR后刷新一下网页；接着就在搜索框里输入我们要搜索的单词，待会就会自动刷新suggv3的数据包；在headers里可以看到我们要请求的url，还有它的请求方法是-post，数据类型是json解析数据：在Payload就可以看到我们请求的数据参数，根据这个参数，修改列表text的值，就可以实现我们想要搜索的内容！

纯学习分享，只用于学习用途，请勿用于任何商业用途。本人不承担任何责任。

输入B站视频oid号，就可以看到相应视频上的弹幕。有了B站弹幕API接口，只需要通过解析数据，提取弹幕文字。

Python_豆瓣电影&保存excel。

本文章通过两种保存模式csv文件、Mysql数据库实现效果如图Mysql数据库。

)函数写sql语句，后返回插入语句和参数(两个参数，接着执行mysql语句将数据保存。对相应的网页进行指定爬取，接着回调方法。后异步导入mysql库。

说明该程序用于模拟登录QQ邮箱。在首次模拟登录后，将页面的cookies保存，为下次直接登录做准备。

***本文章为个人记录***目录一、模拟登录知乎二、提取知乎question页面url三、提取question页面具体数据四、提取answer页面具体数据五、items.py的编写六、pipelines的编写七、Mysql数据库存储结果(第一次运行程序)先模拟登录->保存cookie (其次运行程序)->运行已保存的cookie 模拟登录时没有做验证码处理，所以延时10秒手动通过验证码进行登录。登录后再将知乎账号数据cookie保存起来，为下次爬取浏览器直接使用(下次使用时不需要再进行模拟登录

目录一、新建项目二、程序的编写三、数据的爬取1.在cmd窗口输入scrapy startproject [项目名称] 创建爬虫项目接着创建爬虫文件，scrapy genspider [爬虫名字] [爬虫域名]打开pycharm项目，就可以看到生成的cblog.py文件1.在项目下新建main.py，写入以下代码，方便后续项目调试main.py2.编写爬虫程序kblog.py3.在items.py文件中创建items函数与爬取数据对应items.py4.在数据库中新建数据表MyArticle

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言例如：当遇到zip压缩文件有密码时，由于zip输入密码错误次数不限制，可以通过python相关库进行暴力破解。一、破解原理示例：通过zipfi

运行效果：源码：import os# 文件名字filename = 'Stu_manger.txt'def main(): while True: menu() choice = int(input('请选择:')) if choice in range(0, 8): if choice == 0: answer = input('您确定退出系统吗？(y/n)..

首先安装第三方模块pip install PyInstallerwin+R输入指令cmd，安装模块复制打包文件的路径cmd定位到该路径，执行pyinstaller -F 文件名执行指令后生成的文件如下：双击可执行文件：...

源码：from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver import ActionChains # 动作链# 实现规避检测from selenium.webdriver import ChromeOptionsimport timedef login(): driver.find_element(By.ID, 'J-userName

from selenium import webdriverfrom time import sleepfrom selenium.webdriver import ActionChains # 动物链from selenium.webdriver.common.by import By # find_element(By.xx,'xx')from selenium.webdriver import ChromeOptions # 规避检测def login(): # 切换到登录标签.

源码：from selenium import webdriverfrom selenium.webdriver.common.by import By # driver.find_element(By.ID,'query_ticket')from selenium.webdriver.support.wait import WebDriverWait # 显示等待from selenium.webdriver import ActionChains # 动作链from seleniu.

import requestsimport jsonfrom xlutils.copy import copyimport xlrdimport xlwtheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'}url = 'https://movie.do.

greenlet 模块实现协程：from greenlet import greenletdef fun1(): print(1) #2 gr2.switch()#3 print(2) #6 gr2.switch()#7 passdef fun2(): print(3) #4 gr1.switch()#5 print(4) #8 passgr1=greenlet(fun1)gr2=greenl

源码：import requestsimport osfrom lxml import etreeif not os.path.exists('./简历模板'): os.mkdir('./简历模板')headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36

源码：import requestsimport osfrom lxml import etreeheaders={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'}url='https://www.aqistudy.cn/historydata/'response.

一、源码：import requestsfrom bs4 import BeautifulSoup#UA伪装headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36'}url='这里自己输入你的url(因版权原因)'page_text=requests.get(

方案一(手动设定响应数据的编码格式)：url='输入url'response=requests.get(url=url,headers=headers)手动设定响应数据的编码格式response.encoding='gbk'page_text=response.text方案二(通用处理中文乱码的解决方案):img_name=li.xpath('./a/img/@alt')[0]+'.jpg'#通用处理中文乱码的解决方案img_name=img_name.encode('iso-8

源码：import requestsimport osfrom lxml import etree#创建一个文件夹if not os.path.exists('./4k图片'): os.mkdir('./4k图片')headers={ 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safar

案例：爬取某二手房信息Xpath实例化一个etree对象两种方法：from lxml import etree-1.将-本地的html文档中-的源码数据加载到etree对象中： etree.parse(filePath)-2.可以将从-互联网-上获取的源码数据加载到该对象中： etree.HTML('page_text')- xpath表达式：- /:表示的是从根节点开始定位，表示的是一个层级- //:表示的是多个层级；或可以表示从任意位置开...

源码如下def copyFile(): # 接收用户输入的文件名 old_File=input('请输入要备份的文件:') # 构造新的文件名，加上备份后缀 File=old_File.split('.') new_File=File[0]+'_备份.'+File[1] try: # 同时打开需要备份的文件，新文件 with open(old_File,'r',encoding='utf-8') as Old_f,ope

目录过程说明：主函数键盘控制创建类01、飞机基类02、子弹基类03、Hero飞机类04、enemy飞机类源代码及素材过程说明：应用到的库：import pygameimport random一、框架1、创建界面宽度2、背景图片3、标题4、背景音乐二、键盘控制 1、接收键盘控制-自己的方向和射击控制三、创建类1、飞机基类...

概述：单例模式是常用设计模式的一种，单例就比如我们打开电脑的回收站，在系统中只能打开一个回收站，也就 是说这个整个系统中只有一个实例，重复打开也是使用这个实例。简单的说就是不管创建多少次对象，类返回的对象都是最初创建的，不会再新建其他对象。实现步骤-1： 利用类属性保存初次创建的实例对象，第二次实例化的时候判断类属性是否有保存实例对象，如果有就返回类属性保存的，如果没有就调用父类__new__方法创建新的实例对象。class S...

目录一、私有化属性语法特性特性-1特性-2特性-3二、私有化方法语法示例特性一、私有化属性语法：两个下划线开头，声明该属性为私有，不能在类的外部被使用或直接访问。示例：特性特性-1：私有化属性不能在类外面访问。特性-2：私有化属性可以在类里面访问，修改。特性-3：子类不能继承私有化属性。二、私有化方法语法...

01、添加属性class Student: passStudent.name='李华'print(Student.name)02、添加实例属性动态添加实例方法需要使用types库#导入types方法import types#函数def run(self): print('Run！！！'); pass#类class Student: passMen=Student()#利用types方法绑定实例属性Men.selfrun=types.

01、语法格式try:可能出现错误的代码块except: 出错之后执行的代码块else: 没有出错的代码块finally: 不管有没有出错都执行的代码块Exeption:可以捕获所以的异常(当对出现的问题或者错误不确定的情况下，可以使用Exception)...

属性： name 玩家的名字 blood 玩家血量方法： tong() 捅对方一刀,对方掉血10滴 kanren() 砍对方一刀，对方掉血15滴 chiyao() 吃一颗药，补血10滴 __str__ 打印玩家状态。步骤 第一步 需要先去定义一个类【角色类】...

目录一、函数基础01、函数的定义02、函数的调用03、函数说明文档二、函数参数01、缺省参数02、不定长参数03、引用传参三、匿名函数01、定义02、用法03、示例一、函数基础01、函数的定义def 函数名(): 函数体[一系列的python语句，表示独立的功能]02、函数的调用 本质上就是去执行函数定义里面的代码块，在调用函数之前，必须先定义03、函数说明文档 函数内容的第一行可...

目录01、列表方法02、元组方法03、字典方法​04、共用方法01、列表list:python当中非常重要的数据结构，是一种有序的数据集合特点：1：支持增删改查2：列表中的数据是可以变化的【数据项可以变化，内存地址不会改变】3:用[] 来表示列表类型，数据项之间用逗号来分割，注意：数据项可以是任何类型的数据4：支持索引和切片来进行操作方法02、元组tuple：是一种不可变的序列，在创建之后不能做任何的修改1：不可变2：用..

目录01-猜拳游戏if语句多分支，多条件的演练02-九九乘法表while循环嵌套03-打印三角形while循环嵌套01-猜拳游戏if语句多分支，多条件的演练#person-人 computer-计算机#导入模块import randomcomputer=random.randint(0,2)#计算机产生随机数person=int(input("请出拳:[0:石头 1:剪刀 2:布]:"))#人print("机器人出:",computer)if person.

1、导入模块1.1、导入整个模块并给它指定别名1.2、导入特定函数并给它指定别名的例子2、赋值魔法2.1、序列解包（可迭代对象解包）同时（并行）给多个变量赋值：交换多个变量的值：假设要从字典中随便获取（或删除）一个键-值对，可使用方法popitem可使用星号运算符（*）来收集多余的值(作为一个列表)，这样无需确保值和变量的个数相同2.2、链式赋值链式赋值是一种快捷方式，用于将多个变量关联到同一个值。...

目录创建和使用字典1、dict2、 基本的字典操作3、将字符串格式设置功能用于字典-（format_map）4、字典方法4.1、clear4.2、copy4.2.1、deepcopy4.3、fromkeys4.4、get4.5、items4.6、keys4.7、pop4.8、popitem4.9、setdefault4.10、update4.11、values创建和使用字典定义：字典由键及其相应的值组成，这种键-值对称为项（it

一、设置字符串的格式1、替换字段名只需向format提供要设置其格式的未命名参数，并在格式字符串中使用未命名字段。将按顺序将字段和参数配对。1.可给参数指定名称，这种参数将被用于相应的替换字段中。2.可通过索引(左)来指定要在哪个字段中使用相应的未命名参数，这样可不按顺序使用未命名参数。3.可使用句点表示法来访问导入的模块中的方法、属性、变量和函数（看起来很怪异的变量__name__包含指定模块的名称）。2、基本转换定义：指定要在字段中包含的值后，就.

1、索引1.定义：序列中的所有元素都有编号——从0开始递增。当你使用负数索引时，Python将从右（即从最后一个元素）开始往左数。>>> greeting='Hello' >>> greeting[0] 'H' >>> greeting[-1] 'o'从左往右->[x,y]； (同下可省略索引[:x](负数索引)从右往左->[-x,y) (当可使用省略索引[-x, ],打印后面所有元素)2、切片定义：切...