Agent 搭建｜使用 ollama+智谱 CodeGeeX+VSCode 搭建本地离线编程助手

2025 年注定是 Agent 爆发之年，但是在 2024 年竞争最激烈的非编程助手莫属，从 Github Copilot 到 Cursor 再到 WindSurf，程序员是最热衷于使用智能体的群体。

但是以上产品需要联网，需要付费，或者即使免费也有额度的限制，我们国内也有很多产品，不仅免费，而且有些产品是开源的。今天就以智谱 AI 的 CodeGeex4 为例，搭建一个离线本地的编程助手，整体体验下来，我认为效果堪比 Cursor、Copilot 等商业软件，但也仍有一些不足。

我们准备人机交互界面（VSCode）+LLM（CodeGeex4）+环境（Ollama）来搭建。

首先介绍使用开源 LLM，CodeGeex4 目前已经迭代到第四个版本，模型大小为 9B，这个参数量做到了性能和离线之间的一种平衡，在我 16G 的macOS 使用这个大小参数的模型性能完全足够，但如果使用十几亿或者百亿参数的开源模型，对性能的消耗过于巨大。

智谱将这个模型称为目前参数量少于 100 亿的最强代码生成模型，这也符合大模型➡️小模型的思路，很多时候我们不需要一个全知全能的大模型，我们需要一个能够足够 Cover 当前任务的 LLM 即可。

性能上，9B 的 CodeGeex4 在HumanEval 上的表现超过了 70B 参数的 llama3，对于这么小的参数量来说已经非常不错。

如何在本地电脑使用，对于新手来说推荐使用 Ollama，Ollama 是一个开源框架，专门设计用于在本地运行大语言模型。

Ollama 的安装和运行都无需撰写复杂代码，只需要在本地安装后，后台运行，Ollama 会自动在 11434 端口运行服务。

以我的 macbook 为例，在官网下载并安装 Ollama 后会自动驻留在后台，windows 用户要小心设置模型下载路径，方便以后管理，否则默认都下载在 C 盘。

下载模型也很简单，只需要运行 ollama run codegeex4 命令即可。

以上两步完成后，本地电脑就具备了编程 Agent 能力，但是我们要如何使用？

以 VSCode 为例，在插件广场安装，或者通过官网安装后，我们打开插件，在插件右上角选择离线模式。

然后将大模型服务地址和模型名称填入，点击连接进行测试即可，这样我们就完成了在本地，离线部署CodeGeex4 智能编程助手。

下面让我具体来体验一下，比如我们以https://codegeex.cn/官网为例，我们想要获取这个页面中所有文本信息。

我们使用简单的提示词工程，告诉大模型我们要构建一个 python 程序以及目标网站，本地大模型的优势就是速度非常快，秒级生成结果。然后我们点击新文件。

结果中首先要求我们通过 pip 安装所需要的包，然后点击新文件即可自动生成代码文件，（我的机器上安装了 python 环境，这一步也是通过询问 CodeGeex4 完成，没有的话需要创建 python 环境，推进使用 python 虚拟环境，VSCode 会自动设置）通过运行代码。

目前 CodeGeex4 有个不足的地方，就是不像 Cursor 或者 Github Copilot 那样，自带了代码对比和补全功能，需要自行进行修改。

以 github copilot 为例来对比，代码生成后可以点击合并按钮，会自动完成对比合成，你只需要点击 Accept是否接受即可，CodeGeex4 上没有找到这个功能，目前只有复制和插入，插入会直接拷贝，需要人工进行整合修改。

但是从两者的输出结果来看，CodeGeex4 给出的解决方案和 Copilot 基本完全一致，两者一个是 9B 部署在我本地机器上的智能体，另一个是在线的智能体，从成本的角度来看，CodeGeex4 可以说是完胜。

但是，这个简单的代码并没有获取到任何中文内容。猜想最大可能是网站部署了反爬功能，那么能否让大模型就这个问题检测一下呢？

可以很明显看到，CodeGeex4 给出的答案只是满足了能否联通，但是 Copilot 给出更加详细的指标。

从这个角度可以猜测本地模型相比闭源的大模型在性能上还是稍显不足。

我们接着再让两个大模型帮我写几个排序算法，并试图让他们画出算法流程图。

可以看到，本地的 CodeGeex4 模型理解能力稍逊一筹，他给出的是算法的文字描述，Copilot 给出的直接的代码。

但只要我们多问一句，就能获得每种排序算法的 Python 实现（再目前阶段，提示词工程依然有效，也许有一天，AI 编程真的完全能理解需求，完全自主编程）

同样的，虽然都无法直接作图，但是 Copilot 更加进一步的给出了一种文字+箭头的算法流程描述，有一种很贴心的感觉，虽然我画不了图，但是我尽量理解老板需求，并给出一个解决方案。

以上只能算是使用编程智能体助手的一些玩法，让我看看在实际生产工作中，能帮到我们多少。

在使用上，CodeGeex4 的插件不如 Copilot 顺畅，比如，Copilot 可以直接挂接文档，但是 CodeGeex4 需要通过全选代码来完成挂接。

在结果上，在完全不给予足够提示词的情况下，开源的大模型还是无法和闭源大模型相比，左边的 CodeGeex4 理解的结果不能使用，但是 Copilot 能够基本上正确分解代码，并识别没断代码的作用。

总结

我们通过几次不同的尝试，简单的体验了本地编程助手和知名编程助手的区别，可以看到效果上还是有些差距的。

这一是我没有使用 CodeGeex4 的在线版本，二是本身就目前阶段来讲，开源大模型性能确实还无法比得上闭源大模型。

但风起于青萍之末，我相信未来我们国内的大模型一定会做的更加本土化，性能更好。

而商业公司选择将强力的模型开源，不仅是勇气也是自信，相信未来借助社区和开源的力量，开源也能和闭源平分秋色。

走向 AIGC 的道路虽然艰难，但随行者众。我们也一定能做出好的产品。

​

如何学习大模型

现在社会上大模型越来越普及了，已经有很多人都想往这里面扎，但是却找不到适合的方法去学习。

作为一名资深码农，初入大模型时也吃了很多亏，踩了无数坑。现在我想把我的经验和知识分享给你们，帮助你们学习AI大模型，能够解决你们学习中的困难。

下面这些都是我当初辛苦整理和花钱购买的资料，现在我已将重要的AI大模型资料包括市面上AI大模型各大白皮书、AGI大模型系统学习路线、AI大模型视频教程、实战学习，等录播视频免费分享出来，需要的小伙伴可以扫取。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，我下面分享的这个学习路线希望能够帮助到你们学习AI大模型。

二、AI大模型视频教程

三、AI大模型各大学习书籍

四、AI大模型各大场景实战案例

五、结束语

学习AI大模型是当前科技发展的趋势，它不仅能够为我们提供更多的机会和挑战，还能够让我们更好地理解和应用人工智能技术。通过学习AI大模型，我们可以深入了解深度学习、神经网络等核心概念，并将其应用于自然语言处理、计算机视觉、语音识别等领域。同时，掌握AI大模型还能够为我们的职业发展增添竞争力，成为未来技术领域的领导者。

再者，学习AI大模型也能为我们自己创造更多的价值，提供更多的岗位以及副业创收，让自己的生活更上一层楼。

因此，学习AI大模型是一项有前景且值得投入的时间和精力的重要选择。