- 博客(75)
- 收藏
- 关注
RSS订阅原创 AI | 大模型量化中的位宽与量化格式选择（GGUF和AWQ）
本文系统分析了不同数值格式在深度学习中的应用特点。在资源充足时，推荐优先级为BF16 > FP32 > FP16 > FP8 > INT格式；资源有限时建议采用AWQ或GGUF量化方案。详细解析了FP32、FP16、BF16、FP8(E4M3/E5M2)、INT8和INT4/NF4等格式的二进制表示方法及精度损失情况，指出指数位决定表示范围，尾数位影响精度。不同场景下的最优选择。
2025-11-29 19:02:30
932
原创 Linux | 使用safe-rm避免手残执行rm -rf /*（防止误删，血泪教训）
本文介绍使用safe-rm工具防止误删系统文件的方法。通过安装safe-rm并配置/etc/safe-rm.conf保护关键目录，再设置rm命令别名，可有效拦截危险的rm -rf /*操作。文中提供了详细的安装步骤（支持apt和yum）、配置文件示例（包含系统和自定义保护路径）以及bashrc别名设置方法，为容易输错命令的用户提供了安全保障。
2025-11-28 17:53:41
223
原创 杂记 | 搭建反向代理防止OpenAI API被封禁（对于此次收到邮件提示7月9日后将被屏蔽的解决参考）
很多人收到OpenAI邮件说API将被封禁（不支持的国家或地区），最后期限是2024年7月9日，本文提供反向代理的解决方案，仅供参考，不保熟。
2024-06-25 22:15:54
3473
1
原创 Python | 在Python项目中做多环境配置（环境变量使用.env文件）
在Python项目中做多环境配置（环境变量shiyong.env文件）
2024-04-03 17:31:35
9505
1
原创 报错 | 2023新版IDEA/PyCharm连接远程服务器的Docker需使用密钥认证
本文介绍了如何在2023.3版本的代码编辑器中通过SSH密钥对认证方式连接远程服务器并访问Docker的方法。随着版本更新，仅支持密钥对SSH认证类型来访问服务器上的Docker。解决方案包括在Windows本地生成SSH密钥对，将公钥保存至远程Linux服务器，并在IDEA等代码编辑器中使用私钥文件实现连接。具体步骤包括在本地生成密钥对、将公钥保存至服务器、以及在本地连接时选择私钥文件。
2024-04-03 16:39:08
2704
2
原创 报错 | pydantic.v1.error_wrappers.ValidationError ... subclass of BaseModel expected
使用langchain时遇到的这个问题，在其他项目中遇到该问题也可参考本文提到的解决方式。
2024-02-23 17:24:00
5416
5
原创 杂记 | 在Linux上使用Docker-compose安装单机版Milvus向量数据库并配置访问控制和可视化面板（Attu）
Milvus是一款开源的向量数据库，它专为AI应用设计，用于管理和检索海量的特征向量。高效的向量检索性能：Milvus采用了多种先进的索引算法，如IVF, HNSW, ANNOY等，能够在大规模数据集上实现高效的近似最近邻搜索。易于扩展和维护：Milvus支持水平和垂直扩展，能够适应不断增长的数据规模和查询需求。它的分布式架构使得数据存储和计算能力可以灵活扩展。多种数据持久化选项：Milvus支持SSD, HDD等多种存储介质，并且可以与多种持久化存储解决方案集成，如MinIO, S3等。
2024-01-18 15:20:17
5835
6
原创 报错 | pandas报A value is trying to be set on a copy of a slice from a DataFrame的解决
报错/警告信息的理解与解决：SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.Try using .loc[row_indexer,col_indexer] = value instead
2023-12-17 22:30:42
19484
5
原创 Python | 轻量ORM框架Peewee的基础使用（增删改查、自动创建模型类、事务装饰器）
轻量ORM框架Peewee的基础使用（增删改查、自动创建模型类、事务装饰器）
2023-12-02 02:16:01
5322
原创 杂记 | 使用Docker安装并配置MongoDB以支持事务（单副本，并解决了证书文件错误的问题）
使用Docker安装并配置MongoDB以支持事务（单副本，并解决了证书文件错误的问题）
2023-11-28 18:15:47
2155
原创 杂记 | 使用FRP搭建内网穿透服务（新版toml配置文件，搭配反向代理食用）
使用FRP搭建内网穿透服务，新版toml配置文件，搭配反向代理食用，设置开启自启。
2023-11-12 22:49:32
26335
16
原创 杂记 | 基于OpenAIEmbedding向量存储的LangChain示例选择器（节省token、提升响应速度、提高回复准确性）
使用OpenAI的Embedding文本嵌入模型实现从大量的示例中选择相关性强的示例再给大模型，优化大模型使用效果。
2023-10-30 11:41:10
940
原创 杂记 | Langchain中few-shot提示词模板的使用（给提示词添加示例）
Langchain框架中，如何给大语言模型的提示词添加示例。
2023-09-22 15:15:58
1472
原创 python | 手写一个python代码计时器，分别基于装饰器和上下文管理器两种方案实现
基于装饰器和上下文管理器（with关键字）实现python中的计时功能。
2023-09-22 14:57:09
531
原创 杂记 | 使用gitlab-runner将python项目以docker镜像方式流水线部署到服务器（解决部署缓慢和时区不对的问题）
有一个python项目，该项目可能是一个服务器监控程序，也可能是一个后端程序，现在需要将该项目以流水线方式部署到服务器端，使用docker的方式实现。
2023-09-22 14:23:36
1430
原创 Python | 为FastAPI后端服务添加API Key认证（分别基于路径传参和header两种方式且swagger文档友好支持）
FastAPI，如其名所示，是一个极为高效的框架，特别适用于构建 API 后端服务。而在与其他网站的 API 接口进行交互时，API Key认证是一种非常普遍的安全机制。典型的例子是ChatGPT的接口，我们需要申请一个专属的API Key才能发起有效的请求。虽然我们可以直接在定义接口时自定义接收参数，但这种方式需要在每个接口都增加相同的代码，十分不优雅，且该方式不支持FastAPI自带的swagger文档友好显示。
2023-09-18 16:06:54
5111
原创 杂记 | 自定义LangChain中的输出解析器（以解析Markdown代码块为例）
LangChain中的输出解析器属于`提示词模板`的范畴，简单说，就是在提示词模板中加入对输出格式的说明，然后预期大模型以符合该格式的内容进行输出，我们再对结果进行解析。
2023-09-04 21:30:46
2802
原创 python | Logging日志标准库的常见使用方法（手搓日志记录装饰器）
Logging日志标准库的常见使用方法，以及手写一个装饰器，该装饰器挂在函数上，可以实现打印函数的输入与输出。
2023-08-27 23:06:46
499
1
原创 杂记 | 记录一次使用docker安装gitlab-runner的过程（馋哭了）
一句话概括有多香：成功安装gitlab-runner后，就可以流水线部署项目了，毕竟“懒惰”是程序员的三大美德之一。
2023-08-17 01:51:53
3667
1
原创 杂记 | 记录一次使用Docker安装gitlab-ce的过程（含配置交换内存）
记录一次使用Docker安装gitlab-ce的过程（含配置交换内存）
2023-08-05 21:28:16
2929
2
原创 杂记 | 使用idea构建SpringBoot项目并远程连接docker运行
使用docker运行SpringBoot项目是一个不错的选择，传统方式需要手动打包并上传到服务器，在使用docker build构建镜像，再使用docker run启动运行，难免有些繁琐，本文介绍如何使用idea帮我们完成这些操作，简化操作流程。
2023-07-04 23:54:02
2025
原创 杂记 | 使用keycloak实现SSO单点登录（新手向，概念、原理、逻辑、详细步骤、难点解释）
使用keycloak实现SSO单点登录（概念、原理、逻辑、详细步骤、难点解释）
2023-07-04 23:13:18
21002
26
原创 报错 | PKIX path building failed: ...SunCertPathBuilderException:unable to find valid certification...
PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target的解决方案。
2023-07-03 15:24:24
42411
2
原创 杂记 | Linux服务器使用docker安装keycloak（docker-compose）
Linux服务器使用docker安装keycloak实操。
2023-06-27 17:38:47
5790
3
原创 杂记 | CentOS7使用docker部署OpenVPN
本文的案例基于CentOS7，实测CentOS8是无法成功的，可能需要做一些额外的设置才可以实现，所以建议使用CentOS7作为服务器的操作系统。
2023-05-14 22:31:11
3818
1
原创 Linux拾遗 | 在Linux中安装RabbitMQ（基于CentOS7，简明步骤操作）
网上有很多rabbitmq的安装教程，有的比较复杂，我试了也没成功，有的是基于编译安装，比较麻烦，对此，本文采用简单规范、步骤清晰的方式作为安装讲解，适合新手小白安装。
2023-05-03 23:53:19
713
原创 Linux拾遗 | CentOS7 Linux安装nginx并设置开机自启（步骤操作）
CentOS7 Linux安装nginx并设置开机自启（步骤操作）
2023-04-01 00:25:19
1080
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人