一键在本地部署代码大模型系列教程——Ollama篇

【三步搭建 本地 编程助手 ollama + codegeex】 本次搭建的本地编程助手,解决因安全问题完全无网络的情况下的编程助手搭建问题。 阅读详情
AI摘要

很多用户希望在本地部署CodeGeeX4-ALL-9B并接入CodeGeeX插件使用。本文介绍通过Ollama部署该模型的方法,包括一键安装Ollama,复制运行命令安装模型,还说明了将其接入插件本地模式的步骤,让用户享受本地编码体验。

CodeGeeX4-ALL-9B作为最新一代CodeGeeX4系列模型的开源版本发布后,很多用户对这次更新的CodeGeeX插件支持本地模式非常感兴趣,都希望能够在本地部署CodeGeeX4-ALL-9B,然后通过本地模式接入CodeGeeX插件中来使用代码补全和智能问答的功能。

CodeGeeX4-ALL-9B这次也专门适配了GGUF,今天我们详细介绍只用简单的一招,不用考虑环境和依赖,通过Ollama跑起来本地的CodeGeeX代码大模型。

首先我们需要用到的Ollama也是一个开源项目,是在本地快速跑各种开源大模型的最优选择之一。CodeGeeX4-ALL-9B在开源后不到24小时就获得了Ollama的支持,目前通过Ollama下载已经超过了6000次+。

图片

安装使用的过程非常简单,跟着下面的教程,大家也可以一起来体验:

首先,把Ollama开源项目一键安装在自己的电脑上。建议安装Ollama0.2或更高版本。MacOS和Windows都有一键安装包。Linux也只需要执行一行命令。

本地部署AI模型和VSCode设置CodeGeex本地模式 网)是一个强大的本地大模型运行框架,可以方便地在本地部署和运行各种开源大语言模型,如支持DeepSeek、codegeex4模型。嵌入式 AI,也称为边缘 AI(Edge AI),指的是在设备本身(如传感器、摄像头、微控制器等)上运行 AI 模型,而不是将数据发送到云端进行处理。硬件要求:本地部署AI模型对硬件要求较高,推荐使用 NVIDIA GPU,显存至少 6GB(量化模型)或 18GB(非量化模型)—— 笔者的电脑显存4G,可以跑动。性能要求高:需要较高的硬件配置(如支持 CUDA 的 GPU)。 阅读详情

相关推荐

智能编程支持分析本地工程文件,项目级开发效率再度提升!

对于新加入项目的开发者,或是需要理解复杂代码的开发者,可以通过智能问答的对话框,输入@currentFile,将当前文件关联到智能问答中,询问代码的功能和逻辑。CodeGeeX的智能问答新增关联本地文件的系列功能,用户在智能问答的输入框中输入@,就可以在弹出框中选择需要使用的指令。CodeGeeX 即可根据多个文件的内容提供相关的建议及详细的解释,大大减少了开发者查找和记忆的负担,也能够通过这个功能快速理解复杂的项目代码。这种上下文相关的建议,能够帮助开发者更快地找到问题的症结,并进行有效的修复或优化。

马沛专栏 960

linux 部署Ollama本地大模型

llama 是一个大模型的管理框架,其作用类似于 Docker:如果将每一个标准化的大模型视为“镜像”,那么 Ollama 就能够通过一行命令快速拉取并运行这些大模型。然而,Ollama 本身是基于命令行的服务,所以为了方便我们对大模型进行微调和使用,还需要引入 maxkb。maxkb 提供了一个 ChatBot 界面,它会把我们输入的结构化知识、转换成大模型可以理解的语言(即嵌入向量),从而实现有效的交互。

隔壁小红馆 2342

Ollama+OpenWebUI本地部署大模型

Ollama是一个开源项目,用于在本地计算机上运行大型语言模型(LLMs)的工具,它的底层是使用Docker,所以支持类似Docker的构建方式,大模型就是它的镜像。它支持多种模型格式,包括但不限于GGUF,允许用户在没有高性能GPU或不希望使用云服务的情况下,利用个人计算机的资源来执行复杂的语言任务。Ollama极大简化了大模型私有部署步骤,使得大模型运行像Docker一样简单方便。

小生测试的博客 2657

Ollama部署本地大模型详细教程

创建ModelfilePARAMETER num_gpu 50 # GPU 层卸载比例(0~100)场景是否推荐本地开发/测试 Agent✅ 强烈推荐内部知识库问答(RAG)✅ 推荐(配合 Pgvector)生产环境高并发服务⚠️ 谨慎(建议评估 vLLM / Triton)需要 Function Calling 的 Agent❌ 不推荐(改用 DashScope API)🔑核心价值Ollama 是“本地大模型的 Docker”——让开源模型像容器一样 easy to run。

我们的征途是星辰大海 2640

RK3588S开发板实战:手把手教你搞定IMX415摄像头驱动配置(附调试日志分析)

本文提供了一份详细的RK3588S开发板配置IMX415摄像头驱动的实战指南。内容涵盖从环境准备、内核驱动编译、设备树节点编写到调试日志分析的完整流程,并重点解析了摄像头调试过程中的常见问题与解决方案,帮助开发者快速完成驱动配置与功能验证。

weixin_28285943的博客 209

【科研导航】【计算机视觉与图像处理】从顶刊到潜力股:跨学科(电子/电气/信息)SCI期刊投稿全景图

本文全面解析了计算机视觉与图像处理领域的SCI期刊投稿策略,涵盖从顶刊到潜力股的各类期刊特点。重点介绍了IEEE Transactions系列、Elsevier旗舰期刊以及二区优质期刊的审稿偏好和投稿技巧,特别适合电子/电气/信息交叉学科的研究者。文章还提供了三区、四区期刊的实用投稿建议,帮助科研新手快速找到适合的发表平台。

weixin_30897233的博客 84

从零到一:Halcon手眼标定的实战避坑指南

本文详细解析了Halcon手眼标定的完整流程,重点介绍了Eye-in-Hand和Eye-to-Hand两种模式的实操技巧与常见陷阱。通过九点法、N点法等实战案例,提供硬件配置检查、数据采集策略及误差修正方案,帮助开发者提升机械臂与视觉系统的协同精度,适用于工业自动化领域的精准定位与抓取任务。

neovim7hacker的博客 236

LLC混合滞回控制 vs 电压模/电流模:UCC25640x仿真对比与选型指南

在开关电源设计中,LLC谐振变换器的环路补偿是核心难点。传统电压模控制(VMC)和电流模控制(CMC)在LLC拓扑上存在环路增益漂移、动态响应慢等局限。混合滞回控制通过滞回比较器直接调制开关频率,并融合输出电压与谐振腔电流信息,实现了自适应环路增益和快速瞬态响应。该技术显著提升轻载效率与动态性能,适用于高密度适配器、快充及车载充电机等场景。本文基于UCC25640x系列,通过仿真对比三种控制策略,为工程选型与调试提供实践参考。

weixin_33925615的博客 336

一篇文章带你认识 SpringBoot

文章目录一、原有 Spring 优缺点分析二、SpringBoot 的概述 一、原有 Spring 优缺点分析 (1)Spring 的优点分析 Spring是Java企业版(Java Enterprise Edition,JEE,也称J2EE)的轻量级代替品。无需开发重量级的Enterprise JavaBean(EJB),Spring为企业级Java开发提供了一种相对简单的方法,通过依赖注入和面向切面编程,用简单的 Java 对象(Plain Old Java Object,POJO)实现了EJB的功能。

南淮北安的博客 766

笔试题-2023-加特兰-数字IC设计【纯净题目版】

笔试题-2023-加特兰-数字IC设计【纯净题目版】

w0shishabi的博客 2249

【ComfyUI】FluxKontext 身形调优与体态增强

AI身形调优与体态增强解决方案 该工作流通过Flux系列模型实现人物体态的智能化增强,主要特点包括: 采用UNet主体模型+双文本编码器+身形增强LoRA的架构组合 通过ReferenceLatent保持原始姿态的同时强化胸腰臀比例 完整工作流包含图像加载、文本编码、潜空间映射等8个核心节点 支持自动化的前后效果对比展示 应用优势: 保持人物自然姿态的前提下实现局部强化 支持通过Prompt精确控制增强方向 适用于摄影后期、角色美化等创作场景 输出效果稳定且风格统一 使用方

Mr数据杨 1304

ESP-IDF OTA升级过程中遇到的“esp_transport_read returned:-1 and errno:128”问题(4)

ESP-IDF OTA升级过程中遇到的“esp_transport_read returned:-1 and errno:128”问题(4)

phmatthaus的专栏 1535

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

上一篇: CodeGeeX第四代模型正式发布,同期开源!
下一篇: 看完必打卡!CodeGeeX全新UI正式上线!
CodeGeeX
博客等级 码龄2年 144粉丝 16原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值