- 博客(12)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 RAG 知识库使用公有大模型，如何实现数据脱敏？-- 自定义函数、私有小模型
本文探讨了在RAG场景下使用公有大模型时的数据脱敏方案。提出两种工程化解决方案：方案一通过自定义函数预定义字典替换敏感词，具有速度快、准确度高、成本低的优势，但维护复杂；方案二利用私有小模型动态识别和替换敏感信息，灵活性更高但返回速度较慢且准确度中等。两种方案均采用工作流编排方式实现，能够有效防止企业敏感数据被大模型厂商利用，同时保持语义完整性。实际应用中可根据对速度、准确度和灵活性的需求选择合适的脱敏方案。
2025-11-16 20:21:10
601
原创 几乎免费 | 利用公有云的最佳实践，稳定下载海外 docker 镜像的方法
最近频繁压测大模型，需要下载多种不同类型的模型推理框架镜像，比如 vLLM、TensorRTLLM、SGLang，每个镜像文件都非常大，10G 起步，直接下载经常断开，一些新的镜像层加速源没有缓存，也会下载失败。直接挂梯子下载，也非常不稳定，经常中断。
2025-11-15 17:12:48
215
原创 通过实践聊聊NVIDIA DGX Spark真的适合部署企业级大模型吗？
NVIDIA推出基于Grace Blackwell超级芯片的GB10主机，搭载20核ARM CPU（10大核+10小核）和6144 CUDA核的Blackwell GPU，FP4算力达11PetaFLOPS。本文详细记录了在NVIDIA DGX Spark上部署Qwen3-30B-A3B-FP4模型的过程：使用TensorRT LLM推理框架（比vLLM快10%），通过Docker启动服务。测试显示在512输入输出时支持120并发，2048输入输出时支持50并发，性能优于oss-gpt-120b模型。文章最
2025-11-15 12:43:25
1261
1
原创 基于欧拉OpenEuler安装Anaconda、NVIDIA、CUDAToolkit、vLLM、Qwen-30B
在双卡L20 GPU环境下（操作系统为欧拉OpenEuler或FusionOS-23）部署vLLM大模型推理服务的完整流程。主要内容包括：1）环境检查确认GPU和操作系统；2）安装Anaconda并配置Python虚拟环境；3）安装NVIDIA驱动和CUDA Toolkit 12.9；4）部署PyTorch框架；5）通过modelscope下载30B参数的大模型；6）安装vLLM推理框架；7）最终启动模型服务。整个流程详细说明了各环节的配置要点和验证方法，为基于vLLM的大模型推理服务部署提供了完
2025-10-27 18:31:07
841
原创 平替腾讯会议、Zoom的开源会议软件，仅需浏览器即刻开始线上会议
在数字化办公浪潮席卷全球的当下，企业对线上会议平台的选择愈发谨慎。公司会议保密性差？腾讯会议费用高？这两个问题是否正困扰着你？Jitsi Meet 开源会议软件帮你解决这些难题，仅需一台虚拟机即可部署属于自己的会议系统，使用浏览器即可快速轻松入会，可平替腾讯会议、Zoom 等商用付费会议软件。
2025-08-24 22:42:52
698
原创 NGINX反向代理大模型和AI智能体
如果你反向代理之后，模型/智能体没有流式输出（打字机效果），请参考如下NGINX配置文件写法。OpenAI 等其他平台亦如此。
2025-06-24 11:46:52
461
原创 自己写的Windows水印工具
想给用户的Windows电脑加水印，需要一个水印工具，经过调研发现很多水印工具都很贵，自己使用Python开发一个，打包成exe使用即可。
2024-12-21 15:28:19
384
原创 Docker 快速安装 Oracle 19c
使用 docker 快速启动一个 oracle 19c 以供测试使用。说明：1、由于镜像较大，请预留大于 10G 磁盘剩余空间2、测试连接使用，未挂载磁盘。
2024-04-06 16:09:41
518
1
原创 如何访问没有固定公网 IP 的内网服务器 -- SSH 远程转发搞定
场景：小明同学在家里和办公室里各有一台 Linux 设备，但是在公司的时候有时需要连接到家里的 Linux ，而在家里的时候有时也需要连接到公司里的 Linux ，苦于公司和家里都没有固定公网 IP 地址，该如何解决这个问题呢？可以使用一台有公网 IP 的云服务器 + SSH 的远程转发功能来解决。示意图如下：*重要说明：云服务器的安全组策略需开放对应代理端口，如 88。
2024-02-15 20:55:22
1387
原创 一文讲清楚SSH技术原理
基于口令的安全验证的方式就是大家现在一直在用的，只要知道服务器的SSH连接帐号和口令(当然也要知道对应服务器的 IP及开放的 SSH端口，默认为22 ),就可以通过 SSH 客户端登录到这台远程主机。此时，联机过程中所有传输的数据都是加密的。2.服务端收到请求，在 authorized_keys 中匹配客户端的公钥，并生成随机数 X ，用客户端的公钥对 X 进行加密得到 Y，然后将 Y 返回给客户端；秘钥认证很好的解决了密码口令认证易受“中间人攻击”的问题，通过事前创建的包含公钥和私钥的密钥对来实现。
2024-02-04 15:51:28
1287
原创 python3.6 安装scrapy报错的解决方法
前几日闲来无事打算爬点视频网站上的资源来看看。由于之前没用过网络爬虫的框架，在网上找了一些相关的资料打算跟着学一下，过程中发现并没有想象的顺利。首先，需要特别注意的一点，python的小版本（比如3.6.1和3.6.2）之间适配的框架版本也不一样（就是因为这个问题，导致我的scrapy安装老是出错。）下面捋一下我踩过的坑：本人电脑win10x64的，但是安装的32位的python3.6.0。在...
2018-11-23 10:03:04
338
python3 安装scrapy报错的解决方法
2018-10-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人