Wollens Blogs

进程和线程在爬虫开发中，进程和线程的概念非常重要的，提高爬虫的工作效率，打造分布式爬虫，都离不开进程和线程的身影。本节将从多进程、多线程、协程三个方面，帮组大家回顾 Python 语言中进程和线程的常用操作，以便在接下来的爬虫开发中灵活运用进程和线程。多进程Python 实现多进程的方式主要有两种，一种方法是使用 os 模块中的 fork 方法，另一种方法是使用 multiprocessing 模块。这两种方法的区别在于前者仅使用 Unix/Linux 操作系统，对 Windows 不支持，后者则是跨

Python 操作文件和目录方法总结源文件下载地址

本节内容列表生成式生成器（Generator）可迭代对象（Iterable）迭代器（Iterator）生成器、迭代器、可迭代对象关系列表生成式列表生成式是 python 中的一种语法糖，就是一个用来生成列表特定语法形式的表达式，是 python 提供的一种生成列表的简洁形式基础语法格式[exp for iter_var in iterable]工作过程迭代 iterable 中的每个元素每次迭代都先把结果赋值给 iter_var，然后通过 exp 得到一个新的计

argparseargparse 模块可以让让轻松编写用户友好的命令行接口。程序定义它需要的参数，然后 argparse 模块还会自动生成帮助和使用手册，并在用户给程序传入无效参数时报出错误信息ArgumentParser 对象创建一个新的 ArgumentParser 对象。所有的参数都作为关键字参数传入，参数描叙如下（???? 表示常用参数）：ArgumentParser -h 命令行展示格式：usagedescriptionoption argumentsepilogpro

装饰器特殊的类型声明，它能够附加到类声明、方法、数据或参数上，可以修改类的行为。通俗来水装饰器就是一个方法，可以注入到类、方法、属性参数上来扩展类、属性、方法、参数的功能。常见的装饰器有：类装饰器、属性装饰器、方法装饰器、参数装饰器装饰器的写法：普通装饰器（无参数）、装饰器工厂（可传参数）Python 装饰器Python 装饰器（decorator）本质上是一个嵌套函数，它接受被装饰函数作为参数，并返回一个包装过的函数。这样我们可以在不改变被装饰器函数代码的情况下给被装饰函数或程序添加新功能。Py

背景最近使用 django 作为一个服务的后台，在使用 mysqlclient 链接 mysql 数据库时发生一个奇怪的报错 NameError: name ‘_mysql’ is not defined下面是具体报错信息INFO] 2021-04-07 02:27:57,613 Watching for file changes with StatReloaderException in thread django-main-thread:Traceback (most recent call

python 实现定时任务循环 sleep 方式这种方式实现最简单，在循环里放入要执行的任务，然后 sleep 一段时间在执行。这个方法的缺点是只能在固定的时间间隔下执行，如果有定时任务也无法完成。，n 值需要自己计算，并且 sleep 会阻塞进程的执行，在阻塞过程中程序什么都无法只能等。import timefrom datetime import datetime# 每 n 秒执行一次def timer(n): while True: print('do something

背景故事在日常工作中经常会遇到 python 时间格式转换问题，如时间戳转换为格式化时间、格式化时间转换为时间戳，这里做个总结。在总结之前我们需要先弄清楚一个关键????点：时区时区：我们通常使用的时区一般分为 UTC时间和 UTC+8 （东八）时间，东八 CT — 中国标准时间 简单理解为中国时间，UTC WET — 欧洲西部时区，GMT - 格林威治标准时间，简单理解为英国时间。东八时间比 UTC 时间快八小时。世界时区图格式化时间转化为时间戳获取本地（东八）时间戳impo

python 正则表达式正则表达式是一个特许的字符串序列，它能帮助你方便的检查一个字符串与某种模式匹配。re 模块使 python 拥有正则表达式功能。complie 函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。re 模块也提供了与这些方法功能完全一只的函数，这些函数使用一个模式字符串作为它们的第一个参数。下面看看 re 自带的函数使用：re.matchre.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成

python3 中使用 urllib 问题今天遇到一个蛮奇怪的问题：当我在控制台中使用 urllib 没问题，但是当我在 vscode 中 .py 文件中导入 urllib 使用时会报错：AttributeError: module 'urllib' has no attribute 'request'查了一下资料是 python3 的 urllib 不会自动导入其under层的包，需要手动导入。import urllibimport urllib.parseimport urllib.requ

python 输出csv格式背景信息： 昨晚有个朋友需要将一份 .txt 文件输出标准格式csv or excel,如是查看啦相关的操作,在此记录主要使用到的库 csv re代码 demo:import reimport csvwith open('./test.csv', 'w', newline='') as f: write = csv.writer(f, dialec...

一、概述UUID是128位的全局唯一标识符，通常由32字节的字符串表示。它可以保证时间和空间的唯一性，也称为GUID，全称为：UUID —— Universally Unique IDentifier Python 中叫 UUIDGUID —— Globally Unique IDentifier C# 中叫 GUID复制代码它通过MAC地址、时间戳、命名空间、随机数、伪随...

背景故事：在某天使用到 Crypto 这个库, 安装 crypro 还是 No module named 'Crypto' 报错网上针对这个问题有各种版本的解决方案：pip3 install pycryptodomepip3 install cryptoPip3 install pycrypto本机(mac)环境的解决方案：pip3 uninstall pycryptodome...

python 让本机秒变FTP下载服务器在以下场景需要你将服务器中某个文件夹下的一些文件快速拷贝到本机,可以利用 python 内置的下载服务器提升效率.在目标文件夹中执行以下命令：python2中：python -m SimpleHTTPServerpython3:python3 -m SimpleHTTPServer执行上面的命令就会在当前目录下启动一个文件下载服务器,默认打...

总结常用系统中安装CV2(opencv)ubuntu:安装相关依赖： apt-get install libsm6 apt-get install libxrender1 apt-get install libxext-dev 系统安装 python3.6pip install opencv-contrib-python==4.1.2.30pip install opencv-p...

pip国内的一些镜像阿里云 http://mirrors.aliyun.com/pypi/simple/  中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/  豆瓣(douban) http://pypi.douban.com/simple/  清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/  ...

demo的目录结构（请自行忽略test.py文件 => 无效）task.py(实例化celery)#! /usr/bin/env python# encoding: utf-8import timefrom celery import Celeryapp = Celery('tasks', broker='redis://localhost:6379/0', backe...

celery使用报错 AttributeError: ‘ChannelPromise’ object has no attribute ‘value’ 解决方案在使用celery的时候注意使用的broker相应的版本版本不对会出现如下报错： Traceback (most recent call last):File "/usr/local/lib/python3.6/site-packa...

处于某些业务需求需要对一些特定的图片增加水印，于是去了解了PIL这个库，可以完美的解决这个问题实现效果如下：具体代码如下：from PIL import Image, ImageDraw, ImageFontimageFile = "./image/two.jpg"imageInfo = Image.open(imageFile)fontOne = ImageFont.truety...