不定时分享最优质的网络技术与教程，满满的干货。

本文的重点在于引导读者如何初步掌握爬虫技术。初步掌握爬虫技术并不难，但是在实际操作中可能会遇到一些困难，比如一些网站不允许直接访问，需要登录或者进行各种人机验证等。因此，最好先从爬取一些新闻资讯类的网站开始，因为这样相对容易。涉及用户支付等敏感信息的网站就不那么容易获取了。因此，在入门阶段，建议不要纠结于选择一个复杂的网站，先尝试入门即可。一旦理解了基本原理，遇到问题时就可以考虑添加组件或者使用第三方库来解决。

Python可应用于多平台包括 Linux 和 Mac OS X。你可以通过终端窗口输入 "python" 命令来查看本地是否已经安装 Python 以及 Python 的安装版本。

可用于动态监控用户目录，当有新文件创建时自动校验是否存在该文件如果存在则删除重复的，其实现原理是不间断的遍历目录，当有新文件产生时自动将该文件计算特征对比，如果重复则删除，该方式虽然可实现目录监控但效率却很低，因为要不间断的遍历目录。parser.add_argument("-t","--types",dest="types",help="指定文件类型")parser.add_argument("-d","--dirs",dest="dirs",help="指定目录路径")

1.定义tcp_mapping_worker()函数，接收本地客户端连接和远程服务器连接作为参数，通过while循环监听本地连接，当接收到本地连接的数据时，将数据发送到远程服务器连接，实现本地到远程的单向流动。3.在主函数中，首先指定远程服务器的IP和端口，然后使用socket创建一个本地服务器监听指定端口，当接收到本地客户端的连接请求时，将其传递给tcp_mapping_request()函数，创建线程进行数据传输。端口上，此时如果用户使用远程链接等工具，则可以实现远程桌面链接功能，如下图所示；

在当今的Web安全行业中，识别目标网站的指纹是渗透测试的常见第一步。指纹识别的目的是了解目标网站所使用的技术栈和框架，从而进一步根据目标框架进行针对性的安全测试，指纹识别的原理其实很简单，目前主流的识别方式有下面这几种。parser.add_argument("-f","--file",dest="file",help="指定字典数据库 data.json")parser.add_argument("-u","--url",dest="url",help="指定需要检测的网站地址")

最近同事经常找我帮她打印试卷，很奇葩的是，她的试卷都是*红书上下载的图片，一张张打印不好看，而且可能打印不完全，大小也不协调，所以有了这个脚本。python convert_images_to_pdf.py [] []：可选，默认路径为 ，文件名为：.PDF。转成exe运行的话，速度太慢，且exe体积较大，如有需要，请自行转换。方法一：直接将脚本放到图片文件夹内，并运行脚本。：可选，默认为：python脚本所在目录。

其中，E(Ri)表示股票i的预期回报，Rf表示无风险收益率，βi表示股票i的市场风险系数，Market Risk Premium表示市场风险因子的回报率减去无风险收益率，si表示股票i的市值因子系数，SMB表示市值因子的超额回报，hi表示股票i的价值因子系数，HML表示价值因子的超额回报。以上代码中，我们首先计算了每个因子的收益率，然后使用OLS回归分析计算了每个因子的残差，即每个因子收益率中的alpha值。接着，我们使用OLS回归分析计算了每个因子的残差，即每个因子收益率中的alpha值。

3. 配置sql， 格式为列表格式 : sheet页名:sql 多个用,隔开 ["sheet页:sql","sheet页2:sql2"]将配置的所有sql 循环在每一个配置号的mysql连接-库中执行，并分别为每一个连接生成一张标，一个查询sql的结果为1个sheet页。PS：excel老版本打开有可能会提示文件错误哦。1. 配置多个Mysql连接、库、文件名。2. 配置SavePath存储路径。导出为多个sheet合并到1个文件。

有时候来到公司，手上拿了很多东西，一下子就忘记打卡了，所以写了个Python脚本，开启自启弹出提醒。按下 【win+R】 打开运行输入: 【shell:Common Startup】将上方代码创建一个daka.py，再创建一个daka.bat。daka.bat里面输入start daka.py。这样开机就会自启这个py脚本了。打开开机启动项目录。

s:把所有转换之后的文件，合并为一个markdown文件。批量转换ipynb笔记为mardown格式。-i: 要转换的目录下的文件。笔记中的图片无法提取过来。

异常名称描述所有异常的基类SystemExit解释器请求退出用户中断执行(通常是输入^C)Exception常规错误的基类迭代器没有更多的值生成器(generator)发生异常来通知退出SystemExitPython 解释器请求退出所有的内建标准异常的基类所有数值计算错误的基类浮点计算错误数值运算超出最大限制除(或取模)零 (所有数据类型)断言语句失败对象没有这个属性EOFError没有内建输入,到达EOF 标记操作系统错误的基类IOError。

文件形式的邮件HTML形式的邮件带图片的HTML邮件带附件的邮件群邮件各种元素都包含的邮件基于SSL的邮件文件形式的邮件HTML形式的邮件带图片的HTML邮件群邮件各种元素都包含的邮件基于SSL的邮件

python是面向对象的解释性计算机程序设计语言，胶水语言 需要解释器（翻译）成机器语言 1991年公开发行第一版，1989年由guido van rossum开发，作为ABC语言的继承 guido是monty python喜剧团体的爱好者，所以将这个语言命名python 2000年发布2.0，2008发布3.0，2020年开始不再更新2.0class AgeError(Exception): # 继承自exception异常类。

在 Python 中，每个程序至少有一个线程，称为主线程。要创建一个具有多个线程的程序，可以使用线程模块。通过使用多个线程，可以并发执行任务。程序终止是因为它不需要等待守护线程完成。此外，守护线程在程序退出时自动终止。如果您运行该程序，输入一些内容，然后按回车键，该程序将终止。是非守护线程，该程序需要等待所有非守护线程完成才能退出。守护线程有助于执行程序中支持非守护线程的任务。文本介绍了Python多线程中的守护线程使用方法。换句话说，守护线程在后台执行任务。要创建守护线程，可以在。守护线程与非守护线程。

生产者每秒向队列中添加一个数字，消费者每两秒从队列中处理一个数字。从队列中获取项目并对其进行处理的函数。要在不阻塞的情况下从队列中获取项目，可以将 block 参数设置为。方法从队列中获取项目时，它可能需要在任务完成之前对其进行处理。要将项目添加到大小有限的队列并超时阻塞，可以使用如下。方法将阻塞，直到有一个项目可用于从队列中检索。要从队列中获取项目并在时间限制内阻塞，可以使用。首先，定义将1 到 6 的数字添加到队列中的。一旦队列已满，将无法向队列中添加项目。要将项目添加到队列中，可以使用如下。

然后两个线程都尝试更改共享变量的值，他们竞相查看哪个线程最后向变量写入值。第一个线程从共享变量中读取值，第二个线程也从同一个共享变量中读取值。最后写入共享变量的线程的值被保留，因为它覆盖了前一个线程写入的值。当两个线程试图同时访问一个共享变量时，就会出现条件竞争。本文介绍了竞争条件以及如何使用 Python中。默认情况下，锁处于解锁状态，直到获得这个锁。在上面这个例子中，两个线程都试图同时修改。变量的值取决于哪个线程最后完成。使用 Lock 来防止条件竞争。为防止条件竞争，可以使用。对象来防止竞争的出现。

多进程允许两个或多个处理器同时处理程序的两个或多个不同部分。在 Python 中，使用。第三，修改程序以使用多进程。本文介绍了如何使用 Python 多进程模块并行运行代码。在这种情况下，输出显示程序处理图片的速度要快得多。我们将使用多处理模块来调整高分辨率图像的大小。文件夹中的图片制作成缩略图，并保存到。Python 多进程示例。Python多进程简介。Python多进程实例。二、开发一个程序，将。

要运行协程，您需要在事件循环中执行它。在 Python 3.7 之前，您必须手动创建一个事件循环来执行协程并关闭事件循环。当协程等待长时间运行的操作时，可以运行其他代码。调用协程时，Python 不会立即执行协程中的代码。协程是一种常规函数，能够在遇到可能需要一段时间才能完成的操作时暂停执行。当长时间运行的操作完成时，可以恢复暂停的协程并执行该协程中的剩余代码。函数仅执行一个协程，该协程可能会调用程序中的其他协程和函数。一个调用协程返回一个稍后运行的协程对象。协程外部使用关键字的错误消息的原因。

在这个例子中，我们直接调用了一个协程，并没有放到事件循环中去运行。编写异步代码但不能并发运行，要同时运行多个操作，我们需要使用称为任务的东西。调度和执行以非阻塞方式发生，可以创建任务并在任务运行时立即执行其他代码。它显示一条消息，暂停指定的秒数（默认为三秒），然后返回结果。重要的是可以创建多个任务并安排它们同时在事件循环中立即运行。任务是协程的包装器，它安排协程尽快在事件循环上运行。运行的任务越多，速度就越快。运行时，可以运行其他任务。要模拟长时间运行的操作，可以使用。关键字来等待任务是很重要的。

对于非常长的可迭代对象，与默认大小 1 相比，使用较大的 chunksize 值可以显着提高性能。如果前述例子多执行几次，有可能会遇到文字列混在在一起的情况，例如类似以下的输出情况，这是由于多个Thread 同时都想输出文字而造成的情况，并非什么神秘问题，本文将在稍后例子中解决此问题。的增加，程序平均的执行时间越来越短，但也不是无限制的增加，到某个数量之后，加速的幅度就开始趋缓，因此chunksize 的设定还是得花点心思才行。的实例，而这个实例是一个执行结果的代理(Proxy)，所以我们可以透过。

由于拉勾对爬虫限制比较严格，我们需要把浏览器中 headers 字段全部加上，而且把爬虫间隔调大一点，我后面设置的为 10-20s，然后就能正常获取数据了。发现提交了三个表单数据，很明显看出来 kd 就是我们搜索的关键词，pn 就是当前页码。剩下的事情就是构造请求，来下载 30 个页面的数据了。如果对数据库不熟悉的同学，直接注释掉 main 函数中的三行数据库代码就行了，我在注释中有说明是哪三行。了解了如何解析数据，剩下的就是连续请求所有页面了，我们构造一个函数来请求所有 30 页的数据。