KHOST的博客

在做爬虫的时候，我们往往可能这些情况： 网站比较复杂，会碰到很多重复请求。 有时候爬虫意外中断了，但我们没有保存爬取状态，再次运行就需要重新爬取。 还有诸如此类的问题。那怎么解决这些重复爬取的问题呢？大家很可能都想到了“缓存”，也就是说，爬取过一遍就直接跳过爬取。那一般怎么做呢？比如我写一个逻辑，把已经爬取过的 URL 保存到文件或者数据库里面，每次爬取之前检查一下是不是在列表或数据库里面就好了。是的，这个思路没问题，但有没有想过这些问题： 写入到文件或者数据库可能

本次内容涵盖了Excel、Word、PPT、ODF、PDF、邮件、微信、文件处理等所有能在办公场景实现自动化的库，希望能够对大家有所帮助。Python Excel自动化库1.xlwings 库官网：https://www.xlwings.org/特点：xlwings 是开源且免费的，预装了 Anaconda 和 WinPython，可在 Windows 和 macOS 上运行。通过 Python 脚本或 Jupyter notebook 自动化 Excel，通过宏从 Excel 调用 P.

咱们用folium进行过多次地图绘制，有粉丝反馈在进行地图绘制的时候坐标点可能是百度地图经纬度、高德地图经纬度或者腾讯地图经纬度等情况，然后发现用默认的地图底图绘制的时候存在明显的偏移另外，还有小伙伴进行地图绘制用于论文的发表，而论文要求地图是英文或者中英文显示；同样的，还有粉丝表示想用卫星影像图显示等等那么，今天我们就针对这些情况来介绍一下folium更换地图底图样式的全攻略目录： 1. 准备工作 2. 关于folium.Map() 3. 内建地图底图样式 .

文章：Python数据分析实例作者：Brook00前言本文将介绍Python中单下划线和双下划线("dunder")的各种含义和命名约定，名称修饰(name mangling)的工作原理，以及它如何影响你自己的Python类。单下划线和双下划线在Python变量和方法名称中都各有其含义。有一些含义仅仅是依照约定，被视作是对程序员的提示 - 而有一些含义是由Python解释器严格执行的。在本文中，我将讨论以下五种下划线模式和命名约定，以及它们如何影响Python程序的行为.

Python 下的 Excel 库Python 中有大量的原生和第三方 Excel 操作包，各有所长，不过对于刚使用 Python 与 Excel 交互的同学来说，可能有点目不暇接，所以先简单梳理一下常见的一些 Excel 包 OpenPyXL是个读写 Excel 2010 xlsx/xlsm/xltx/xltm 的 Python 库，简单易用，功能广泛，单元格格式/图片/表格/公式/筛选/批注/文件保护等等功能应有尽有，图表功能是其一大亮点 xlwings是一个基于 BSD 授权协..

安装这个库的安装方式很简单，直接使用 pip 就可以，我使用 Python 3 版本，安装命令如下：pip3 install loguru小试牛刀安装完毕之后，我们就可以使用了，最简单的使用方式：from loguru import loggerlogger.debug('this is a debug message')无需任何配置，即取即用。上例是打印一条 debug 级别的日志，输出结果如下：2021-03-16 22:17:23.640 | DEBUG |

Ciphey 是一个使用自然语言处理和人工智能的全自动解密/解码/破解工具。简单地来讲，你只需要输入加密文本，它就能给你返回解密文本。就是这么牛逼。有了Ciphey，你根本不需要知道你的密文是哪种类型的加密，你只知道它是加密的，那么Ciphey就能在3秒甚至更短的时间内给你解密，返回你想要的大部分密文的答案。下面就给大家介绍 Ciphey 的实战使用教程。1.准备开始之前，你要确保Python和pip已经成功安装在电脑上。请选择以下任一种方式输入命令安装依赖：1. ..

实时监控第三方库watchdog，其原理通过操作系统的时间触发的，不需要循环和等待使用场景：　　1.监控文件系统中文件或目录的增删改情况　　2.当特定的文件被创建，删除，修改，移动时执行相应的任务1. 安装pip install watchdog示例：import reimport osimport loggingfrom watchdog.events import FileSystemEventHandlerfrom watchdog.observers

Python是一门非常流行的语言，很多人也用它来写一些工具程序，辅助日常工作。说到写程序，大家自然想到的是各种功能强大的图形界面程序，但是写过GUI程序的朋友都知道，GUI程序虽然看起来好看，但是写起来其实是非常复杂的但是如果为了省事，写成终端程序，一个黑色的命令行界面又不太好看，有什么办法能够美化终端界面程序呢？其实在Python里还真有这样的类库，能够非常轻松的美化终端程序。今天我就为大家介绍一下这个可以美化终端输出的Python类库——rich。安装richrich和其他Pyth.

只需使用pip安装：$ pip install alive-progress唤醒它打开这样的上下文管理器：fromalive_progressimportalive_baritems=range(1000)# retrieve your set of itemswithalive_bar(len(items))asbar:# declare your expected totalforiteminitems:# iterate as usual# process each itemba

使用print来调试代码，你会发现查看终端上的许多行输出，然后试图找出每个输出属于哪些代码，这是一个非常繁琐的过程。defadd(a,b):returna+bprint(add(10,8))print(add(221,91))print(add(110,78))print(add(28,14))print(add(159,76))print(add(65,4631))'''18312188422354696'''这些输出中哪...

00前言在爬虫过程中，经常会由于一些网络或其他不可控因素，从而遇到一些功能性问题。比如在发送请求时，会因为网络不稳定，往往会有请求超时的问题。这种情况下，我们通常会在代码中加入重试的代码。重试的代码本身不难实现，但如何写得优雅、易用，是我们要考虑的问题。Tenacity是一个通用的retry库，简化为任何任务加入重试的功能，它实现了几乎我们可以使用到的所有重试场景。先pip为敬：pip install tenacity不懂这个库怎么用， 很简单，哦对了，可能还需要

#1. 前言最近在用 Python 写一个小工具，这个工具主要就是用来管理各种资源的信息，比如阿里云的 ECS 等信息，因为我工作的电脑使用的是 LINUX，所以就想着用 python 写一个命令行的管理工具，基本的功能就是同步阿里云的资源的信息到数据库，然后可以使用命令行查询。因为信息是展现在命令行中的，众所周知，命令行展现复杂的文本看起来着实累人，于是就想着能像表格那样展示，那看起来就舒服多了。prettytable库就是这么一个工具，prettytable 可以打印出美观的表格，并且对..

PythonExcel自动化库// 1.xlwings 库官网：https://www.xlwings.org/特点：xlwings 是开源且免费的，预装了 Anaconda 和 WinPython，可在 Windows 和 macOS 上运行。通过 Python 脚本或 Jupyter notebook 自动化 Excel，通过宏从 Excel 调用 Python，并编写用户定义的函数（UDF 仅适用于 Windows）// 2.openpyxl 库官网：h..

Python有着很多很酷的第三方库，可以使任务变得更容易。今天就给大家分享10个有趣的Python库，每个都非常实用！分别是speedtest、socket、textblob、pygame、pyqrcode、pyshorteners、googletrans、pendulum、fabulous、pywebview。下面就给大家介绍一下～① speedtest(网速测试)Speedtest模块可以测试电脑的网络带宽大小。使用百度源安装库。#安.

前言注册表这个东西大家可能都不是很熟悉，因为我们平时用到的少；但是它是Windows的核心，很多软件的启动和日志记录什么的都包含在里面，可以说它是一个大型的数据库也不为过，今天我们就来看看Python是如何操作注册表的吧。一、注册表初次见面进入系统注册表的方法多种多样，最常见的就是运行窗口输入命令“regedit”，即可进入注册表：注册表中的几个菜单分别对应机器的根目录登陆的用户信息和本地机器信息以及用户信息和本地配置信息等。二、认识操作注册表的模块在Python中就有这

前段时间，在使用新版本的 Django 时，我发现了 settings.py 的第一行代码从importosBASE_DIR=os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))变成了frompathlibimportPathBASE_DIR=Path(__file__).resolve().parent.parent于是我就好奇，os 和 pathlib 同样是标...

来源：Python爬虫与数据挖掘前言大家好，今天我们来看看分词。我们从之前学习过的wordcloud可以得知它只能进行英文分词，中文暂不支持，这也正是它美中不足的地方，但是有个模块正好弥补了这一点，它就是----jieba，中文名结巴，没错，你没听错也没看错，就是结巴。一、jieba的使用1.安装jieba的安装不管在哪个地方安装都是一个老大难的问题，这也真是让小编头痛欲裂，幸好小编昨天下好了(花了一天，不好意思说出口)。。下载好后，我们解压它，在文件主目录中按住shift键然后右击

来源：https://blog.youkuaiyun.com/jinyj11. 导入myqr库下载myqr库使用windows+R键，输入cmd调出命令窗口在黑框里输入(在python3环境下，python2不行)pipinstallmyqr等到提示下载成功就可以了导入myqr库因为我是用pycharm的，所以还需要在pycharm中导入myqr打开pycharm的file-setting-Python Interpreter在打开的界面中点击+号...

有时我们需要把数据永久存储起来，随时使用随时读取。例如，我们通过程序建立的列表、字典等数据，当程序结束时，需要把这些数据存储到文件中，当程序再次启动时，可以把这些数据读入到程序中，避免这些数据的重新录入。在Python语言中，负责文件操作的称为文件对象，文件对象不仅可以访问存储在磁盘中的文件，也可以访问网络文件。文件对象通过open函数得到，获取文件对象后，就可以使用文件对象提供的方法来读写文件。但open函数在处理某些问题是并不是很理想，有没有其他比open函数更加适合读取某些特定文件呢？下面我们

前言众所周知，我们每天上网都会有很多数据包需要发送，然后处理在接受在发送，这样一个循环往复的过程这里就显示了很多数据包的发送接收数据，那什么是包呢？下面一起看看包（ packet ）是网络通信传输中的数据单位，一般称之为数据包，其主要由源地址，目标地址，净载数据组成它包括包头和包体，包头是固定长度，包体长度不变简单了解下包的定义，下面我们来看看发包利器 scapy 的用法吧一、常用命令1、ls()：显示所有支持的数据包对象，可带参数也可不带，参数可以是任意具体的包.

RoboBrowser，Your friendly neighborhood web scraper！由纯 Python 编写，运行无需独立的浏览器，它不仅可以做爬虫，还可以实现 Web 端的自动化项目地址：https://github.com/jmcarp/robobrowser2. 安装及用法在实战之前，我们先安装依赖库及解析器PS：官方推荐的解析器是 「lxml」#安装依赖pip3installrobobrowser#lxml解析器（官方推荐）pip3ins...

什么是模式匹配呢？在计算机科学中，往往是检查给定的序列或字符串中是否有符合某种模式的片段，比如说：“啊，你的AK-47打得真准”，如果我们将 “啊，你的_打得真准 ” 作为一种模式，则会将 AK-47 匹配出来实现模式匹配往往都是用正则表达式，但是如果你想识别特别复杂的模式，编写正则表达式就会变得非常非常麻烦而 Pampy 这个项目能解决你不少的烦恼项目地址：https://github.com/santinic/pampy下面是一个使用例子:1. 安装赶紧让我们来试..

首先安装依赖库#安装依赖库pip3installMechanicalSoup常见操作如下：2-1实例化浏览器对象使用mechanicalsoup 内置的StatefulBrowser() 方法可以实例化一个浏览器对象importmechanicalsoup#实例化浏览器对象browser=mechanicalsoup.StatefulBrowser(user_agent='MechanicalSoup')PS：实例化的同时，参数可以执行 User...

来源：Python 技术「ID: pythonall」写了这么多年的 Python ，我一直都是使用 Python 自带的 logging 模块来记录日志，每次需要写一些配置将日志输出到不同的位置，设置不同日志输出格式，或者将日志进行分文件和压缩等。这个日志模块没什么问题，直到我无意中发现了一个神器，我才发觉原来记日志可以这么简单的！这个神器就是 loguru 。安装这个库的安装方式很简单，直接使用 pip 就可以，我使用 Python 3 版本，安装命令如下：pip3install.

学Python，想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富，开源项目也非常多。Python学习网络爬虫主要分3个大的版块：抓取，分析，存储当我们在浏览器中输入一个url后回车，后台会发生什么？简单来说这段过程发生了以下四个步骤： 查找域名对应的IP地址。 向IP对应的服务器发送请求。 服务器响应请求，发回网页内容。 浏览器解析网页内容。 ？那么学习爬虫需要掌握哪些库呢通用： urllib -网络库(stdlib)。 ..

一、模块1. 利用 pip 安装 pygame 模块Windows系统下的安装参考如下文章：https://blog.youkuaiyun.com/qq_38721302/article/details/83243632注：应在PyCharm的系统解释器的Scripts目录安装了pygame再新建工程Linux系统下的安装：安装pygamesudopip3installpygame验证安装（aliens是一个内置小游戏） 方法 ...

相信大部分人学习 Python，肯定会用 print() 这个内置函数，来调试代码的那么在一个大型的项目中，如果你也是使用 print 来调试你的 Python 代码，你就会发现你的终端有多个输出那么你便不得不去分辨，每一行的输出是哪些代码的运行结果举个例子，运行下面这个程序num1=30num2=40print(num1)print(num2)输出结果3040这些输出中哪一个是 num1 ？哪一个又...

来自：优快云，作者：南枝向暖北枝寒MA 链接：https://blog.youkuaiyun.com/mall_lucy/article/details/108655317【导读】：开发项目的时，为了测试常需要造假数据，经常要尽量的模拟真实环境，通常要费大量手工而且造出来的数据，而且通常手工造出来的看起来也很别扭，费时又费事，有没有更好的办法？有，这里给大家介绍一个“专业造数“库Faker，满足你对模拟数据的所有需求。--- 以下是正文 ---项目开发初期，为了测试方便，我们总要造不...

如果你之前没用过进度条，八成是觉得它会增加不必要的复杂性或者很难维护，其实不然。要加一个进度条其实只需要几行代码。在这几行代码中，我们可以看看如何在命令行脚本以及 PySimpleGUI UI 中添加进度条。下文将介绍 4 个常用的 Python 进度条库：Progress第一个要介绍的 Python 库是 Progress。你只需要定义迭代的次数、进度条类型并在每次迭代时告知进度条。importtimefromprogress.barimport...

这篇文章主要来讲解下Python自带的爬虫库urllib常见用法，主要围绕urllib定义、urllib的常用模块和urllib+lxml爬虫案例三个部分进行展开。一、什么是urllib它是一个http请求的Python自带的标准库，无需安装，直接可以用。并且提供了如下功能：网页请求、响应获取、代理和cookie设置、异常处理、URL解析，可以说是一个比较强大的模块。二、urllib模块可分为以下模块： urllib.request...

/前言/psutil是一个强大的可以获取操作系统运行进程和CPU使用率的模块，主要可以用于系统监控分析，它也是可以跨平台使用的模块。这篇文章主要是介绍该模块的安装和基本用法，下面我们就来看看它到底有哪些使用功能吧。/模块介绍/1、安装。使用pip命令进行安装即可。pip install psutil2、基本用法老样子，先使用dir看它有哪些方法，为了不看那些平时很少用到的方法，小编决定这样做：3、可以看出，命令不是很多，这是因为过滤了一些带下划线的命令，...

学Python，想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富，开源项目也非常多。Python学习网络爬虫主要分3个大的版块：抓取，分析，存储当我们在浏览器中输入一个url后回车，后台会发生什么？简单来说这段过程发生了以下四个步骤： 查找域名对应的IP地址。 向IP对应的服务器发送请求。 服务器响应请求，发回网页内容。 浏览器解析网页内容。 ？那么学习爬虫需要掌握哪些库呢通用： urllib -网络库(stdlib)。...

内置函数就是Python给你提供的, 拿来直接用的函数，比如print，input等。截止到python版本3.6.2 ，一共提供了68个内置函数，具体如下????abs() dict() help() min() setattr()all() dir() hex() next() slice()any() divmod() id() ...

Python 函数函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。函数能提高应用的模块性，和代码的重复利用率。Python提供了许多内建函数，比如print()。但也可以自己创建函数，这被叫做用户自定义函数。1.函数的定义：你可以定义一个由自己想要功能的函数，以下是简单的规则：函数代码块以 def 关键词开头，后接函数标识符名称和圆括号()。任何传入参数和自变量必须放在圆括号中间...

学Python，想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富，开源项目也非常多。Python学习网络爬虫主要分3个大的版块：抓取，分析，存储当我们在浏览器中输入一个url后回车，后台会发生什么？简单来说这段过程发生了以下四个步骤：查找域名对应的IP地址。向IP对应的服务器发送请求。服务器响应请求，发回网页内容。浏览器解析网页内容。？那么学习爬虫需要掌握哪些库呢通用：urllib -网络库(...

赋值语句的形式序列赋值 序列解包print函数原型if/else三元表达符Python的while语句或者for语句可以带else语句 当然也可以带continue/break/pass语句while a > 1: ......else: ......# else语句会在循环结束后执行，除非在循环...