什么都干的派森

本文介绍如何解决FastAPI的SwaggerUI因CDN被墙无法访问的问题。首先在main.py开头添加代码，创建/swagger_ui目录并配置静态文件服务，自定义Swagger和Redoc文档路由，使用本地静态资源替代CDN资源。然后在项目根目录下放置下载的Swagger静态文件(可从提供的优快云链接获取)。该方法通过本地化资源成功绕过了CDN访问限制，确保API文档的正常展示。

本文介绍了一个基于Sqlite的任务锁实现（TaskLock），用于控制多进程服务中的耗时任务并发。该锁通过SQLite数据库记录任务状态，确保相同ID的任务同一时间只有一个在执行。主要功能包括：自动创建任务锁表、清理超6小时未完成的任务、加锁/解锁操作检查。提供了两种使用方式：装饰器模式和普通调用模式。通过维护task_ruid唯一标识，实现了对耗时任务的并发控制，并包含异常处理机制确保锁的释放。代码示例展示了任务执行时的锁状态检查和完整工作流程。

【代码】修正大模型输出格式的方法。

这是一个poetry的管理文件，langchain脚手架后续将使用poetry作为包管理工具，poetry的安装使用方法可以参考这篇文章。ps: 注意执行这条命令时确保电脑上安装了git，否则脚手架拉不下来就会报错。完成上述步骤后可以看到脚手架中的。后续交互界面全回车就行。

poetry默认虚拟环境创建在系统目录，这里我们修改配置，将默认虚拟环境创建在项目目录。进入项目跟目录，如果项目下有不是poetry创建的env目录，就先删了。记录第三方包的依赖关系（这个文件不用管）一路回车就行（有个作者名称要输一下）随便安装一个第三方包（在项目跟目录下。pycharm配置poetry环境。搞完后项目跟目录下会生成一个。文件，记录虚拟环境项目信息。生成poetry的env目录。，方便后面创建环境使用）安装第三方包后会生成一个。

【代码】centos7安装python3.11。

huggingface被墙了，不好搞，还是modelscope方便，可以在huggingface上找到模型id粘到这里下载。

【代码】python操作selenium的简单封装。

【代码】centos7安装python3.10。

【代码】Python封装cryptography对称加密方法。

该代码用于统一期刊不规范的issn格式，并筛选出错误的issn。

盘符存在盘符有权限尽量不放C盘具体实现方法如下 ↓。

分支和主干合并后可以继续保留，如果确信合并结果正确无误的话也可以直接删掉分支。

以往开发桌面应用通常都是页面接口一起写，这样开发周期比较长，且页面样式不灵活，如果能把页面交给前端写的话，就可前后端并行开发桌面应用了，并且css语言灵活好用样式丰富。下面介绍一种 Python + vue 的桌面应用开发模式（之前我有讲过另一种也是 python + vue 的桌面应用开发，但那种不能双向通信，详情可参考这篇文章。

pyinstaller打包的exe如果被连续点击的话，会启动多个程序，对于复杂的程序来说，同时运行可能会造成严重的后果，因此需要一个程序锁，保证单次仅启动一个exe。

二、配置文件utils.config.py三、实现类utils.PostGreOp.py

【代码】Python操作PostGre的简单封装。

安装 1.5.0 版本的 pandas。安装 xlrd>=2.0.1 的版本。xls xls xls

【代码】Python获取本机内外网ip地址。

直接运行 python 脚本不会报错，也不会导致无限启动的问题，不过一旦打包成 exe 就会无限启动子进程。将 fastapi 服务打包成 exe 后双击执行，命令行中不断创建服务导致cpu吃满，最后死机。这样再打包 exe 执行，就不会无限启动子进程撑爆 cpu 啦。fastapi 启动时指定了多个 workers 进程。该方法作用是阻止子进程运行其后面的代码。main 方法下加入这两行代码。

随便找个网页打开控制台，将前端 js 部分复制上去回车，可以看到如下返回结果。

当前安装包依赖 Visual C++，这个东西没法用pip安装需要自己手动安装。这样选择安装即可，记得把安装位置换到系统盘以外的地方（毕竟这玩意有5个G）报错的这段话最后给出了官方下载地址，直接点进去就行，或者点我这个地址。pip install 的时候报错一大堆，其中有这么一段话 👇。

此方法只能转文本格式的pdf，如果是图片格式的pdf需要用到ocr包，以后如果有这方面需求再加这个方法。

安装步骤如下检查系统有没有cuda支持的GPU检查系统是否支持检查ggc是否安装。

ps：创建镜像名为 baseIMG_ub2004py3910pytorchgpucuda118 标签为 latest 的镜像，从当前路径下的 DockerFile 文件打包。下拉选择 Gzipped 包。

在 centos 中用 yum 命令安装 python3.9。

登录路由方法 server_router/admin.py。根路由方法 server_main.py。

用到的数据集：各国发展水平统计信息↓字段解释：country : 国名child_mort : 每1000个婴儿的5年死亡率exports : 人均商品和服务出口，以人均国内生产总值的百分比给出health : 人均卫生支出总额，以人均国内生产总值的百分比给出imports : 人均商品和服务进口，以人均国内生产总值的百分比给出Income : 人均净收入Inflation : 国内生产总值年增长率的测算（通货膨胀率）

具体来说，Silhouette Score 是一种衡量聚类结果质量的指标，它结合了聚类内部的紧密度和不同簇之间的分离度。这是一种绘制k值范围的平方和的方法。如果此图看起来像一只手臂，则k是选择的类似肘部的值。这是一种根据数据点与彼此相似的其他数据点的聚类程度来评估聚类质量的方法。使用距离公式计算该分数，并且选择具有最高分数的k值用于建模。该值的范围在 -1 到 1 之间，越接近 1 表示数据点聚类得越好，越接近 -1 则表示聚类结果较差。1.紧密度：数据点到同簇其他点的平均距离。上图的最佳值为2,3,4。

Kmeans是聚类算法中较为简单的一种，简单但实用，有如下优势和缺点：优势算法简单，便于使用（算法仅需要考虑一个分类数量K即可）适合常规数据集（最好是线性可分的数据集）适合不适合缺点K值难以确定（因为是无监督训练，没有标签，所以难以确定最终要聚成几个类，不过还是有一个方法可以尽可能的确定大致的聚类数量，就是通过k值增加时，所有数据点跟其质心的距离平方总和的变化趋势来确定——后续代码中有详细讲解。同时聚类的最终结果还需要人为给出合理的解释，如果解释不通，那这个聚类结果多半没有什么意义）

常规训练的话需要自己去试那个K的值，一般试个 3、5、7、9 就行网格搜索训练可以让机器自己去试这个K的值，训练结束后使用最好的模型预测即可N折交叉验证训练会让训练量提升N倍，但是会最大化的利用已有数据进行训练和验证，一般来说折数多一些训练结果会变好，但也不宜过多，该方法常用在数据量较少或者获取训练数据成本较高的情况。

而不是归一化去解决问题（ps：要把训练集和测试集分开后再分别标准化，否则会将测试集的信息引入到训练集中从而影响训练结果）在需要进行特征缩放的数据集上。

【代码】Pyhton压缩JS代码。

内网安装第三方包的应用场景，一般是一些需要在没网的环境下进行开发的情况。这些环境一般仅支持本地局域网访问，所以只能在不下载任何第三方包的情况下艰难开发。将当前应用依赖的第三方包提前下载到本地，拷贝到单机环境下安装，但是不能一个个下载安装，那样效率很低，具体参考以下代码，如有更好的办法希望大佬指点。

随机森林是由多个决策树组成的bagging算法，bagging是集成学习的一种，集成学习是有监督学习的一种。

【代码】Python获取文件路径的父级目录、文件名、扩展名。

任务目标：根据统计在csv中的房屋属性相关数据，预测房屋最终成交价格数据集：《住宅属性数据集》，自取3.数据集字段解释：这个文件中有字段详细说明。

任务目标：根据《泰坦尼克号登船人员名单》上的个人信息预测其是否生还数据集：《泰坦尼克号登船人员名单》，自取数据集解释：第一列age ，表示的是年龄（数值数据）第二列cabin，表示客舱号（分类数据 ：字符串类型）第三列embarked表示登船港口，S是Southampton南安普顿，C是Cherbourg法国瑟堡，Q是Queenstown爱尔兰昆士敦（分类数据：直接类别）第四列fare，表示船票价格（数值数据）第五列name，表示的是名字（分类数据：字符串类型）

数据集是 MNIST手写数字 数据集，自取网络结构为两层卷积两层线性层# 定义数据读取类 ------------------------------------------ class MNISTDataset(Dataset) : def __init__(self , data_type) : self . data_type = data_type if self . data_type not in [ 'train' , 'test' ] : raise Exception('数据集类型有误。

图片数据训练时如果遇到图片损坏的情况可能会导致训练终止，可以加入这个方法进行处理检查图片是否损坏：损坏返回True, 没坏返回False:param img_path: 图片路径:return:''' break_flag = False # 判断图片是否完全损坏 if not imghdr . what(img_path) : # raise Exception(123) print(f'图片完全损坏: {