木梓的博客

高性能异步爬虫 目的：在爬虫中使用异步实现高性能的数据爬取操作。 异步爬虫的方式： 多进程、多线程： 优点：可以为相关阻塞的操作单独开启线程或者进程，阻塞操作就可以异步执行。 缺点：无法无限制的开启多线程或者多进程。 进程池、线程池： 优点：降低系统对进程或者线程创建和销毁的一个频率，从而很好降低系统的开销。 缺点：池中线程或进程的数量是有上限的。 单线程+异步协程： event_loop:事件循环，相当于一个无限循环，我们可以把一些函数注册到这个事件循环上，当满足某些条件的时候，函数就会被循环执行。

模拟（验证码）登录流程： 1.验证码的识别，获取验证码图片的文字数据 2.对post请求进行发送（处理请求参数） 3.对响应数据进行持久化存储 示例网站：https://www.nowapi.com/?app=account.login 云打码平台：http://www.chaojiying.com code.py #!/usr/bin/env python # coding:utf-8 import requests from hashlib import md5 class Chaojiyi

使用云打码平台识别验证码的编码流程： 将验证码图片进行本地下载 调用平台提供的示例代码进行图片数据识别 云打码平台： 示例网站： http://www.chaojiying.com 超级鹰 验证码平台： 示例网站：https://www.nowapi.com/?app=account.register cpde.py #!/usr/bin/env python # coding:utf-8 # 代码片段有超级鹰平台提供 可以在开发者里面下载 import requests from has.

反爬虫机制 门户网站，可以通过指定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取 反反爬虫策略： 爬虫程序可以通过制定相关策略或者技术手段，破解门户网站中具备的反爬机制，从而可以获取门户网站 ...

import requests import os from lxml import etree if __name__ == '__main__': if not os.path.exists('./sucai'): os.mkdir('./sucai') headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like

import time import requests import json if __name__ == "__main__": time_start = time.time() headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36dof (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36

import requests from bs4 import BeautifulSoup if __name__ == "__main__": # 请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 Edg/96.0.1054.62'

Python 运算符算数运算符算数运算符的优先级赋值运算符逻辑运算符关系运算符位运算符 算数运算符 算数运算符是运算符的一种 是完成基本的算术运算的使用的符号，用来处理四则运算 在python中 * 运算符还可以用于字符串，计算结果就是字符串重复指定次数的结果 a = "-" * 10 print(a) 输出结果如下： 算数运算符的优先级 和数学中的运算符的优先级一致，在python中进行数学计算时，同时也是： 1、先乘除后加减 有乘方先算乘方 2、同级运算符是从左往右计算 3、可以使用（）调整计算

标识符 python 标识符命名规则 #原字符，不希望字符串中的转义字符起作用，就使用原字符，就是在字符串之前加上r，或R print(r'hello\nworld') #注意事项，最后一个字符不能是一个反斜杠 print(r'hello\nworld\') 要不会报错的 可以是两个反斜杠 print(r'hello\nworld\\') ...