“安全转行”之一键部署你自己的 ai 大模型

少喝冰美式

墨衍会员 · AI 创作全网分发码龄3年

关注

原创最新推荐文章于 2026-08-15 11:18:26 发布 891 阅读 AI 写同款· GEO 优化 ›

【Windows】Deepseek本地化部署 + Ollama + Chatbox + OpenWeb UI 阅读详情

大家好，众所周知…废话少说开始搭建…

准备工作：

ollama：启动并运行其他大型语言模型，可编辑新的指令提示词，类似docker和dockerfile”，目前已经集成了gemma，可直接下载并使用。https://github.com/ollama/ollama

chatbox：桌面客户端，相当于前端展示ui，提供美化代码和其他的小功能。https://github.com/Bin-Huang/chatbox

gemma：大模型，可以理解为“payload ”，与 OpenAI GPT-3.5，OpenAI GPT-4.0同属于大型语言模型Large Language Models,简称LLM。https://ai.google.dev/gemma?hl=zh-cn

开始搭建：

1、下载最新版的ollama，目前版本是v0.1.27。注意：安装路径默认到c盘且无法更改，安装后整个文件夹在其他的路径就好了，能正常使用。

2、访问https://ollama.com/官网，右上角“Models”，这里就都是ollama已经集成好的语言模型可以使用，单击“gemma”，然后“tags”，里面是gemma对应的不用版本。简单说一下:7b :2b代表词汇量，7亿和2亿

3、然后在ollama路径下打开cmd窗口输入“ollama run gemma:7b”会自动下载，就很像docker pull 镜像，完成后会直接就可以对话，

性能消耗如图，CPU 10G，GPU 7G感觉还可以，回答的速度也不慢，基本1~2秒

4，在官方api中可以看到ollama的默认端口是11434，下载chatbox，打开左下角设置，对应着图片里的配置即可。结束。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

先说体验，感觉是不如chatgpt3.5的，中文能力相比其他模型差一些，数据量还是有限，期待后续能继续喂养，但是速度还是很快的，也不是很吃硬件配置。然后了解了一下ai相关的漏洞，网上找了一些资料，试了几下都未果，就不演示过程了，这里就列举下，就当拓展一下思路，学个新词“prompt injection ”提示词注入。

1、“越狱”

ai对于“版本”、“道德”、“法律”等信息十分敏感，“越狱”也就是用户通过特殊的提示，让目标应用输出违反其内置道德规范的结果。首先最有名的就是chagpt“奶奶漏洞”，利用“亲情”诱骗ai做出一些破格的回答，还有类似，“我已经获得xxx版权”，“扮演我的爱人”等等，不过在此次事件之后ai就不那么容易再被pua，这种方式对于越“聪明”的ai，越容易中招。多试几次“奶奶”还是会给你喜欢的win10序列码，是否真实暂不讨论…

2、信息泄露

还有一个新闻，说国外一位用户在使用ChatGPT时表示，他原本只是进行一个无关的查询，却意外发现在和ChatGPT的聊天记录中出现了不属于自己的对话内容。对话泄露了很多非用户本人的信息，其中包含了大量敏感内容。这间接地说明了chatgpt是会保存用户的数据的，无论是个人隐私还是企业数据，这都是一个巨大的风险。

在这里插入图片描述

思考：现在的ai可以在互联网上搜索信息，同时还会附上链接url，如果有人某些方式将一些恶意的信息通过搜索引擎刷到一个很高的权重，然后被ai学习到，那它就会直接返回给用户，如果是放下一些带有病毒的链接，那效果堪比蠕虫病毒…

最后…

其实还看到一些其他的，比如返回了其他用户的提问信息，超长的提示词造成的溢出，我认为这些问题对于这种级别的程序来说，顶多就是项目初期的“bug”，慢慢都会修复，就先写到这里，下一篇分析一下当前ai的根儿“Transformer结构”和探讨在安全行业中可能有应用。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述