本地化AI应用初探 - 无须 Docker，个人资料无须上传平台，本地AI化-优快云博客

本文链接：https://blog.youkuaiyun.com/edl7878/article/details/138339245

本文探讨了为何需要本地化AI，包括数据安全、成本效益和技术自由度。本地化AI适用于处理敏感数据和追求个性化体验的场景。介绍了AIGC工具Stable Diffusion和LLM的本地使用，包括架构、工作流程和相关工具，如LM Studio和anythingLLM，以实现本地数据的智能化处理和管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基于BS结构的AI平台已经很多，而且AI计算也需要大算力，个人电脑难以承受，为什么还需要本地化的AI呢？

对于个人而言，数据可以分为两类：可以公开的数据，和个人数据。本地化的AI可以提供更好的安全性。

此外，本地AI成本较低，免去了付费、网络环境差异的困境。

最后，从技术角度，用户可以选择自己喜欢的大模型，使用工具将模型和自己的学习、知识管理，以及工作流紧密耦合，在某些情况下，可以获得较好的使用体验。

LLM：就是大语言模型，主要是用来对人类语言进行理解并能进行反馈的模型，典型应用是聊天，比如ChatGPT就属于该类
AIGC: AIGC(Artificial Intelligence Generated Content)，就是人工智能内容生成，例如生成图片、生成视频、生成语音、生成几何模型等

对于第一类模型的使用，算力要求相对小一些，最低有Nvidia 2060，6G显存的显卡即可尝试使用。

对于第二类模型的使用，需要较大的算力，在Nvidia 2060的显卡，6G显存的显卡上，即使只是生成图片，也只能够以较慢的速度，获得分辨率较低的图片。目前，因为第二类正处于技术发展的高速期，新功能往往只在某个基于WWW的平台上才有，因此最好还是使用互联网AI平台提供的服务。

如前所述，AIGC类AI本地使用受个人电脑算力限制，体验不佳，因此笔者常用的是 Stable Diffusion （下称SB）。这是一个人工智能图片生成工具，按照提示词的约定，SB可以按要求生成图片

SB提供了非常丰富的插件生态，你也可以选择不同的AI模型，例如：很多训练好的卡通、真人和各种绘画风格的AI模型，相对于图片生成WWW平台的定制化，具有较高的灵活性

当您希望：

时，可以考虑尝试使用 Stable Diffusion。

目前国内：智谱清言、百度一言、通义千问、Kimi、秘塔AI搜索等在线平台，都有很好的聊天体验。
因此，如果只是单纯地向AI提问，完全可以直接使用这些在线平台。

但是我们考虑如下一种情况：

你的个人笔记是以 Asciidoc 或者 Md 格式存贮，经过积累，你已经有了数百个文档，此外还有word、pdf等很多其他格式的文档，这些文档都是私密的，你希望ai能帮你归纳、总结、提示。相当于你希望用你的个人私密数据，训练ai，然后让ai完成一些基于你的数据的智能化工作，怎么办呢？

此时，本地LLM就有用武之地了。

本地AI大模型架构如下：

LLM: 就是语言大模型的数据，也就是模型文件，可达数G到数十G，一般个人电脑使用的是数G的模型文件
Provider: 就是大模型服务的提供程序，是一个可执行程序。这个程序的接口有两类
- UI：就是该Provider运行后直接有UI界面，然后使用这个界面你可以指定使用的模型，然后就可以在界面里面聊天了
- Web API：程序运行后，会举Web服务，你通过向该网址Post请求，也就是Post问题，AI就可以响应这个request，也就是进行回答
Embeder：就是嵌入器，通过嵌入器，可以将你的本地资料，映射到高维向量空间，也就是“用你的数据对AI进行训练”，你的数据通过Embeder的处理，就变成了Embeding，相当于是LLM的一个附加数据层，这样，AI就认识你的资料信息了