苏寅的博客

总之，f-string 是最新的、最简洁且最易读的字符串格式化方式，它在大多数情况下是首选。当在 Python 中进行字符串格式化时，有三种常用的方式：百分号（%）、方法在一些情况下仍然有用，特别是在需要更复杂格式化的情况下。方法和 f-string。

timeout 被设置为一个包含两个数值的元组。第一个数值是连接超时时间，表示请求建立连接的时间不能超过300秒。第二个数值是读取超时时间，表示从服务器读取响应的时间不能超过300秒。被设置为一个单独的数值，表示请求的连接和读取操作都必须在指定的秒数内完成。如果连接建立时间或响应读取时间超过300秒，请求将被视为超时。参数用于指定请求的超时时间，即请求在等待服务器响应时最多等待的时间。的形式，因为这样可以在连接和读取操作上都设置合适的超时时间，以避免请求长时间阻塞。通常情况下，建议使用。

因工作原因，需要在 CentOS 服务器后台运行 Python 脚本，这里将一些相关的操作记录一下，以供有需要的小伙伴参考。

因项目需求，需要在 CentOS 8 服务器上运行 Python-Selenium 代码，那么该如何操作呢？

Message: unknown error : session deleted because of page crashfrom unknown error : cannot determine 1oading status

＞、＞＞、&、&& 的区别与用法

从字符串中提取字母或数字！

使用Python生成MD5值的两种方式。

在写Python爬虫的时候，遇到XML格式的数据，使用Xpath时无法正常解析，这时候该怎么办呢？

场景描述平时在线下环境使用PyMongo连接MongoDB数据库时都是连接的没有用户名和密码的数据库，那么对于有用户名和密码的MongoDB数据库(线上环境)又该怎么连接呢？代码示例import pymongoclient = pymongo.MongoClient(host='host', port=27017)# # info_data 需要用户名和密码进行身份认证的数据库db = client.info_data# username：用户名；password：密码db.authent

场景描述在使用Selenium的时候，如果遇到a标签列表，而且每个都需通过点击(click())进入a标签对应的页面进行单独处理，而直接访问a链接无法访问(防盗链)，那么这个时候该怎么处理呢？最好的办法就是先获取到a标签列表，然后遍历a标签列表，依次在新标签页上打开链接，然后切换到新标签页再做单独处理，处理完毕后再调用close()方法关闭当前标签页。对于a标签中带有target="_blank"参数的链接，打开的时候会自动在新的标签页打开，如：<a href="http://news.bai

场景描述在使用Selenium的时候，如果遇到页面因为网络等原因导致的加载缓慢，而自己要解析的内容其实已经加载出来了，这个时候需要停止网页的继续加载，继而去解析已经加载出来的页面元素，那么该如何停止页面的不必要加载呢？代码示例from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsoptions = Options()# 停止页面的不必要加载options.page_load_str

场景描述在使用Python爬虫的时候经常需要对爬取的数据进行清洗，以此来过滤掉不需要的内容。对于爬取的结果为文本的数据经常采用正则(re.sub())来进行数据清洗，但是对于爬取的结果为HTML的数据如果还是采用正则来进行数据清洗的话往往会事倍功半，那么针对爬取的结果为HTML的数据又该如何进行数据清洗呢？代码示例import scrapyfrom lxml import etreefrom lxml import htmlfrom html import unescapeclass Te

场景描述在使用Requests高频率请求一些链接的时候，经常会遇到类似requests.exceptions.SSLError: HTTPSConnectionPool的报错，那么遇到这种情况该怎么办呢？代码示例import urllib3import requests# 关闭在设置了verify=False后的错误提示urllib3.disable_warnings()# verify=False：关闭证书验证requests.get(url=url, headers=headers,

场景描述在工作中经常需要把一些文件上传到服务器，以方便使用和管理，如：将文件上传到腾讯云的对象存储(COS)。那么该如何使用Python实现文件上传呢？代码示例import requestsclass Upload: def __init__(self): """ 基础配置 """ # 请求头 self.headers = { 'User-Agent': 'Mozilla/5.0 (W

场景描述在Python爬虫中经常使用MongoDB数据库来存储爬虫爬取的结果，于是乎就有了一个问题：百万级的MongoDB数据如何去重？常见的思路便是在数据入库的时候检查该数据在数据库中是否已经存在，如果存在则忽略(效率高点)或者覆盖，这样做在数据量比较少的时候是适用的，但是在数据量比较大的时候(百万级及以上)这样做往往是效率非常低的！而且如果是已有的未去重的百万级数据库又该怎么办呢？也可以使用distinct语句进行去重，但是还是那个问题，distinct语句并不适用于百万级数据，甚至在数据量大的

配置虚拟环境1.安装virtualenv:pip3 install virtualenv创建虚拟环境： virtualenv venv启动虚拟环境： source venv/bin/activate退出虚拟环境： deactivate2.安装virtualenvwrapper： 安装pip： sudo apt-get install python-pip...

一、什么是ajax？AJAX = 异步 JavaScript 和 XML ajax是一种在无需重新加载整个网页的情况下，能够更新部分网页的技术。 ajax是一种用于快速创建动态网页的技术。通过在后台与服务器进行少量数据交换。ajax可以使网页实现异步更新。 二、ajax的优缺点：- 优点： 1、最大的一点是页面无刷新，用户的体验非常好。 　　 2、使用异步方式与...

现将依赖的环境冷冻起来：pip freeze &gt; requirements.txt创建一个新的空虚拟环境：mkvirtualenv3 blog选择新的虚拟环境：workon blog安装相关依赖包：pip install -r requirements.txt...

正则表达式应用场景特定规律字符串的查找替换切割等邮箱格式、url等格式的验证爬虫项目，提取特定的有效内容很多应用的配置文件使用原则只要能够通过字符串等相关函数能够解决的，就不要使用正则正则的执行效率比较低，会降低代码的可读性世界上最难读懂的三样东西：医生的处方、道士的神符、码农的正则提醒：正则是用来写的，不是用来读的，不要试着阅读别人的正则；不懂功能时必要读正...

介绍6种Python进度条，有需要的可以自行查看！"""Python各种进度条测试文件参考链接：https://mp.weixin.qq.com/s/Ev0JRSNdqTs-cE1Zs2N1NQ"""import sysimport timefrom tqdm import tqdmfrom progress.bar import IncrementalBarfrom progress.bar import Barfrom alive_progress import alive_bar