5分钟手把手系列(一):使用Mac Book Pro本地部署大模型(Ollama+Llama3.1_8B+Docker+OpenWebUI)

重磅!苹果官方发布大模型框架:一个可以充分利用苹果统一内存的新的大模型框架MLX,你的MacBook可以一键运行LLaMA了 本文来自DataLearnerAI官方网站:重磅!苹果官方发布大模型框架:一个可以充分利用苹果统一内存的新的大模型框架MLX,你的MacBook可以一键运行LLaMA了 | 数据学习者官方网站(Datalearner)苹果刚刚发布了一个全新的机器学习矿机MLX,这是一个类似NumPy数组的框架,目的是可以在苹果的芯片上更加高效地运行各种机器学习模型,当然最主要的目的是大模型。MLX框架简介。 阅读详情
AI摘要

本文介绍在Mac Book Pro本地搭建大模型的入门方法。先解释模型量化,对比两种部署方案后,选择通过Ollama一键式部署量化后的LLM模型。接着介绍Llama3.1、Ollama、Docker和Open - WebUI的安装使用,最后分享了AI大模型学习资料。

背景

随着行业内越来越多的AI产品落地,很多同学都对AI技术产生浓厚的兴趣,但苦于目前动作几十G上百G的大模型,并且手上的消费级电脑也无法满足各种模型部署运行要求,本文就是基于此背景,介绍如何使用Mac Book Pro本地搭建大模型的入门教程,希望能帮助到对AI有兴趣的同学。毕竟不管什么岗位,如果能自己搭个Demo进行AI相关的学习,也不失为一种AI入门方式。 纸上谈兵终觉浅,绝知此事要躬行,正好借着9月OpenAI最新发布的o1大模型,写一个本地模型部署指南,本人电脑是Mac Book Pro M3 18G机器搭建,M1、M2的机器也是可以的。

方案选择

首先解释一下什么是模型量化

  • 模型量化是做什么的: 模型量化是将浮点数值转化为定点数值,同时尽可能减少计算精度损失的方法。
  • 为什么要做模型量化: 模型量化既能减少资源消耗,也能提高运行速度,使大规模推理服务的性能提升。
  • 对哪些数值做量化: 可以对模型参数(weight)、激活值(activation)或者梯度(gradient)做量化。
  • 常见的量化精度有哪些: 通常可以将模型量化为 int4、int8 等整型数据格式。

目前部署大模型的方式,基本分为两种方案:

  1. 下载原始大模型,然后通过相应的模型量化脚本,将量化后的模型进行本地环境部署,此种方式,下载原始模型费时费力,量化后的模型也不见电脑能带的动,需要不断调整量化参数quantization types,对新人不太友好
  2. 通过Ollama大模型管理工具,一键式部署量化后的LLM模型,本文也是主要介绍此种部署方式,直接通过的Ollama拉取的llama3.1模型信息如下,通过Open WebUI部署运行非常轻松,开着IDE+几十个Chrome页面毫无压力

量化后的模型信息 在这里插入图片描述

运行效果

在这里插入图片描述

Llama3.1

Llama3.1是Meta公司在7月最新发布的LLM模型,分为三个版本8B、70B、405B,有兴趣的同学可以直接去官网了解。 llama.meta.com/
github.com/meta-llama/…

在这里插入图片描述

Ollama

Ollama是一个开源的大模型管理工具,它提供了丰富的功能,包括模型的训练、部署、监控等。 通过Ollama,你可以轻松地管理本地的大模型,提高模型的训练速度和部署效率。 此外,Ollama还支持多种机器学习框架,如TensorFlow、PyTorch等,使得你可以根据自己的需求选择合适的框架进行模型的训练 官网:ollama.com/

在这里插入图片描述

下载安装Ollama

下载安装后,在终端运行 ollama -v 能正常显示版本号即为安装成功

下载安装量化后的Llama3.1

确定Ollama已安装成功后,在终端运行如下代码,Ollama首次会将模型远程下载,并在下载完成后启动 ollama run llama3.1

下载过程还比较顺利,下载完成后,终端会启动大模型,可以直接在终端进行对话问答了,是不是很简单? 但在终端里面进行AI问答,看起来没那么方便,所以我们可以通过Docker+Open WebUI的方案来实现本地Web UI管理调试大模型

在这里插入图片描述

Docker

Docker Desktop 是 Docker 提供的一个方便的工具,适用于 Windows 和 macOS 平台。它包含了 Docker Engine、Docker CLI 客户端、Docker Compose、Kubernetes 和其他工具,使开发人员可以在本地计算机上使用 Docker 容器进行开发和测试。 官网:www.docker.com/products/do…

在这里插入图片描述

Open-WebUI

Open WebUI是一个可扩展、功能丰富、用户友好的自托管WebUI,旨在完全离线操作。 它支持各种LLM运行程序,包括Ollama和OpenAI兼容的API。 官网:www.openwebui.com/

在这里插入图片描述

具体特性可以查看 github:github.com/open-webui/…  当Docker安装完成后,可以通过命令在线安装open-webui,但安装之前,需要注意的是,最好在docker设置中配置镜像地址,否则下载速度非常感人,无法预计什么时候能下载成功

配置registry-mirrors

在这里插入图片描述

直接覆盖即可,我也没测试其中的镜像速度,如果自己有稳定的镜像地址,可以自行替换 { "builder": { "gc": { "defaultKeepStorage": "20GB", "enabled": true } }, "experimental": false, "registry-mirrors": [ "https://hub-mirror.c.163.com", "https://docker.m.daocloud.io", "https://ghcr.nju.edu.cn", "https://mirror.baidubce.com", "http://dockerhub.azk8s.cn", "https://mirror.ccs.tencentyun.com", "https://docker.mirrors.ustc.edu.cn", "https://docker.nju.edu.cn", "https://2h3po24q.mirror.aliyuncs.com" ] }

安装命令

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在经过了漫长的等待后,是的,你没看错,用了镜像也不怎么快,没用镜像之前基本就是失败。。。

在这里插入图片描述

启动

在这里插入图片描述

  • 安装完成后,即可在Docker中启动WebUI了,等待片刻后,浏览器输入http://localhost:3000/即可进入 ,如果需要提供给其他局域网中的小伙伴访问,可以找到自己的局域网IP地址,如 30.7.229.xx:3000/
  • 首次进入的时候,需要注册账户,因为注册逻辑是在本地,只需要记住自己的账户密码即可,无需要验证码,首次注册的账号是管理员账号
  • 进行后选择之前下载的Llama3.1模型后,即可开始模型的测试了

在这里插入图片描述

最后附几道测试题结果,目前看起来,Llama3.1的中文理解推理能力还是有待提升的

在这里插入图片描述

写在最后

AI作为后续的各行各业基础技术设施,其使用门槛会不断降低,各种配套框架、生态也会越加丰富。 本人作为一名互联网行业的产品经理(当然,之前也有10来年的Android+iOS+Java后端的开发经验),编写AI模型的本地搭建教程,也是希望通过对新手较为友好的方式,帮助更多对AI感兴趣的同学迈出学习AI技术第一步,只有去深入了解AI背后的运作原理与流程,才能发现AIGC过程中的更多机会。 目前业界比较令人振奋的AI落地场景乏善可陈,在部分用户场景中,其实用规则、算法就已经能很好的解决用户需求,反而用上AI后产生各种啼笑皆非的结果。 最后希望各行各业在AI的加持下,能帮助用户得到更好的使用体验,取得更好商业结果, MCGA~!

​

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。 img

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

四、100+套大模型面试题库

在这里插入图片描述

五、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

Mac 本地训练 MiniMind 大模型:LoRA 微调与 MPS 避坑实战 大模型训练通常依赖高性能 GPU 集群,但通过参数高效微调技术,个人开发者也能在本地完成模型适配。LoRA 基于低秩假设,将权重更新分解为两个小矩阵乘积,大幅降低可训练参数量与优化器内存占用;配合分组查询注意力与旋转位置编码,可在有限算力下保持模型效果。在 Mac 的 MPS 后端上,统一内存架构进一步降低了训练门槛,使小规模语言模型的 SFT 全流程成为可能。该方案适用于垂直领域问答、文本摘要、结构化信息抽取等场景,尤其适合数据隐私敏感、需要离线部署的业务。本文以 MiniMind 为例,完整演示从 to 阅读详情

相关推荐

Mac 上从零训练 MiniMind 大模型:LoRA 微调实战指南

大模型微调的核心在于低秩适配(LoRA)与 Transformer 架构的协同。LoRA 通过冻结原始权重、注入低秩矩阵,大幅降低可训练参数量与显存占用,使小规模模型在消费级硬件上完成指令微调成为可能。这一技术路径的价值在于:让开发者以极低成本掌握数据准备、秩选择、训练监控与效果验证的完整流程。在 Mac 统一内存架构与 MPS 后端支持下,MiniMind 这类轻量级 Decoder-only 模型成为理想的练手平台。本文围绕 MiniMind 的架构拆解与 LoRA SFT 全链路实操,帮助读者在 Ma

weixin_29038155的博客 316

5分钟手把手系列(一):使用Mac Book Pro本地部署大模型

AI作为后续的各行各业基础技术设施,其使用门槛会不断降低,各种配套框架、生态也会越加丰富。本人作为一名互联网行业的产品经理(当然,之前也有10来年的Android+iOS+Java后端的开发经验),编写AI模型的本地搭建教程,也是希望通过对新手较为友好的方式,帮助更多对AI感兴趣的同学迈出学习AI技术第一步,只有去深入了解AI背后的运作原理与流程,才能发现AIGC过程中的更多机会。

2401_84204413的博客 3382

S7-1200五轴伺服系统PLC控制方案与调试技巧

工业自动化领域中,多轴伺服控制是实现精密加工的核心技术。基于PROFINET实时通信协议和PLCopen运动控制标准,现代PLC(如西门子S7-1200)能够实现多轴高精度同步控制。其技术原理是通过等时同步模式确保各轴运动的时序一致性,结合PID调节和电子齿轮比实现位置闭环。这种方案在数控机床、3D打印等场景具有重要应用价值。本文以五轴联动系统为例,详细解析了S7-1200与V90伺服驱动器的硬件组态方案,包括PROFINET环网配置和IRT同步设置。在软件层面,重点介绍了基于TIA Portal的工艺对象

weixin_34332905的博客 418

仅需三步,在 Mac 电脑部署本地大模型,打造私人 ChatGPT

型号: MacBook Pro芯片:Apple M1(M1/M2/M3 任何芯片的都可以,越高端的性能越好)内存: 16 G(内存越大越好,8G 也能体验,但是只能用小模型)硬盘: 256 G(越大越好)

m0_63171455的博客 1万+

计算机视觉学习路线图:从入门到专家

计算机视觉学习路线图:从入门到专家​ ,人工智能,计算机视觉,大模型,AI,计算机视觉学习路线图从七方面展开。先强调数学基础,含线性代数、概率统计和微积分;接着介绍 Python、OpenCV 等编程语言与工具;涵盖边缘检测、特征提取等经典算法;阐述深度学习中 CNN 结构、经典模型及实现;涉及目标检测、图像分割等高级专题;包含图像分类、目标检测和人脸识别等项目实战;最后提及科研进阶的论文阅读、项目参与和论文发表,助学习者从入门到专家。

不踩坑,不知道坑有多深;不总结,踩过的坑白踩。 7万+

Linux ARM平台开发系列讲解(网络篇)1.3 MDIO总线设备device和设备driver匹配

在设备和驱动都载入内核后,设备和驱动是如何匹配起来的呢?其实他们就是通过的唯一标识phyID进行匹配phy_dev和phy_drv是通过phy_bus_match函数进行匹配,匹配成功后会建立链表链接,具体流程如下图: 返回总目录......

DSMGUOGUO的博客 1100

Mac本地部署大模型体验AIGC能力

论文仅基于Transformer解码器的大模型(图中的蓝色部分),例如,OpenAI的GPT系列、Meta的LLaMa、Google的PaLM等;仅基于Transformer编码器的大模型(图中的粉丝部分),例如,Google的BERT、Meta的RoBERTa等;同时基于Transformer编码器和解码器的大模型(图中的绿色部分),例如,Meta的BART、Google的T5、清华大学的GLM/ChatGLM等。这里选择ChatGLM-6B进行本地部署,其官网。

2401_84206094的博客 2473

【AI智能体】全场景AI智能体工作台WorkBuddy实战操作详解

全场景AI智能体工作台WorkBuddy实战操作详解

congge 5568

【如何在 Mac 上运行大模型】

新手如何在 Mac 电脑上安装环境并且运行大模型

weixin_46458535的博客 3954

【教程4>第8章>第10节】OFDM完整通信链路项目的FPGA开发4——插入导频

本文介绍了基于MATLAB和Verilog的导频插入设计与实现方法。首先回顾了MATLAB中导频插入的算法实现,展示了每32个数据插入一个导频的设计。接着详细说明了Verilog硬件实现方案,包括导频序列定义、计数器设计、FIFO模块等关键部分。通过仿真测试验证了设计的正确性,输出了插入导频后的序列、导频序列以及调整时序后的序列。最后提供了相关视频教程资源,帮助读者理解设计过程。该设计实现了数据与导频的精确插入,为OFDM等通信系统开发提供了实用参考。

FPGA/MATLAB学习教程/源码/项目合作开发 397

Silvaco TCAD 半导体器件仿真全攻略:从入门到精通

本文介绍了Silvaco TCAD半导体器件仿真平台的核心功能与应用方法。主要内容包括: Silvaco TCAD的核心模块组成(ATHENA工艺仿真和ATLAS器件仿真)及其在半导体研发中的重要作用,能够通过数值仿真预测器件电学特性,显著降低研发成本。 环境配置要点,包括内存分配、文件目录管理和许可证验证,为仿真工作提供基础保障。 仿真核心概念:详细讲解了网格划分策略和物理模型选择原则,强调基于物理直觉的自适应加密网格方法。 以PN结二极管为例,提供了完整的仿真代码示例,涵盖从网格定义、掺杂设置到结果分析

huanghm88的专栏 209

macbook m1 本地部署llama2模型

本文将对在macbook m1笔记本上使用llama.cpp本地部署量化版的llama2的过程进行记录。

abcdlmk的博客 4646

数据分享|2000-2021年全国各城市风速数据(逐日、逐月、逐年)

而后,将每日的csv文件进行展点,再投影,采用反距离权重法对每日的数据进行插值。:美国国家海洋和大气管理局(NOAA)下设的国家环境信息中心(NCEI),网址为:https://www.ncei.noaa.gov/data/global-summary-of-the-day/archive/该数据是通过风速平均值插值得来,由于插值的方式与各种处理参数的不同,会导致该数据与其它风速数据不同,数据仅供个人学习使用哦。如果在论文中使用该数据,数据来源请写上面的原始数据来源,处理方法请写上面的处理方式!

J_Giser的博客 1781

只需三步,手把手带你在本地部署运行大模型

在当前的技术环境下,大型语言模型(LLMs)已经成为人工智能领域的一个重要里程碑。

AAI666666的博客 1万+

计算机视觉教程2-3:图解双线性插值算法&最近邻插值算法

提出此算法的背景是基于图片的缩放,在图片缩放的过程中,实质上就是将原图像像素矩阵像素值,填到目标图像像素矩阵中,目标图像像素矩阵可能比原图像像素矩阵大(图片放大),也可能小(图片缩小)。我们假设图片的宽(WidthWidthWidth)和高(HeightHeightHeight)是按同比例缩放的,那么 srcXsrcWidth=dstXdstWidth\frac{srcX}{srcWidth}= \frac{dstX}{dstWidth}srcWidthsrcX​=dstWidthdstX​ ...

FRIGIDWINTER的博客 7286

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

超详细教程:如何在笔记本上run起大模型?没有GPU也可以!(Windows/Mac)

本文以最近刚刚发布的生物医药大模型——BioMedGPT为例,本教程提供了接触大模型技术的第一步,整理和介绍了在MacBook和Windows笔记本上如何从头开始跑起一个大模型,当然里面用到的技术也同样适用于对其他大模型进行操作。

m0_37678226的博客 1万+

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

大模型本地部署教程丨手把手带你在Mac本地部署运行AI大模型(附教程)

本文将详细介绍如何使用Ollama,一个开源项目,在Mac上本地运行大型模型(Win同理)。通过遵循以下步骤,即使是配备了几年前硬件的电脑,也能够顺利完成部署和运行。

DEVELOPERAA的博客 1413

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

大模型本地部署:只需三步,手把手带你在Mac本地部署运行AI大模型

本文将详细介绍如何使用Ollama,一个开源项目,在Mac上本地运行大型模型(Win同理)。通过遵循以下步骤,即使是配备了几年前硬件的电脑,也能够顺利完成部署和运行。

2301_81940605的博客 4964

Mac本地部署大模型|Ollama+Gemma4/Qwen3.5新手零失败教程,彻底告别Token消耗✨

摘要:本文为Mac用户提供零基础部署本地大模型的详细教程。通过Ollama工具和llmfit硬件检测,新手可轻松安装适配的Gemma4或Qwen3.5模型,实现离线AI应用。教程包含模型选择、下载验证及图形界面使用,全程仅需10-20分钟,让用户摆脱Token限制,享受高效本地AI体验。特别适合M系列芯片Mac用户,内存建议16GB以上以获得最佳性能。

u010359778的专栏 3706

5分钟在MAC下本地搭建大模型

Ollama——一个简明易用的本地大模型运行框架。随着围绕着 Ollama 的生态走向前台,更多用户也可以方便地在自己电脑上玩转大模型了。Ollama 的目标是帮助开发者在本地运行、创建和共享大型语言模型。Ollama 目前处于早期预览阶段,但已经提供了一些核心功能。例如,它支持运行和对话 Llama 2,这是 Meta 新推出的模型。此外,Ollama 还提供了一个模型库,开发者可以在这里下载和使用各种开源模型。

wushakun的博客 3835

写给工程师的 MacBook 商用级大模型知识库部署方案

本文介绍了如何在自己的 MacBook 上部署一套知识库方案辅助自己的知识管理工作,希望能给每位计划自己搭建大模型知识库应用的工程师一点参考。背景历史的车轮滚滚向前,大模型技术发展日新月异,每天都有新鲜的技术出炉,让人目不暇接,同时具备可玩性和想象空间的各种应用和开源库,仿佛让自己回到了第一次设置 JAVA_HOME 的日子,作为一枚古典工程师,我专门挑了个可能对手上工作有帮助的方向小试一把,尝试...

淘系技术 4018

Mac pro M2 ---“本地部署chatGPT”

对于有些小可爱不会科学上网,不知道如何整个国外手机号去注册chatgpt,FaceBook发布了基于LLM的人工智能大语言模型LLaMA,本地就可以部署。小白操作跟紧咯,昨天踩了坑了,今天帮你们规避一下风险。

weixin_45007300的博客 7745

如何在mac电脑上快速搭建一个大模型?并跟它聊天

进入官网点击download选择macOS版下载,下载后会有一个Ollama-darwin.zip压缩包,解压并安装,安装完之后桌面有个Ollama.app,点击打开ollama就运行起来了。在ollama上搜索qwen根据自己电脑配置选择相应参数,这里选择qwen:7b,大概4.5G,运行此模型mac电脑内存至少8G。ollama是一个可以帮助用户快速在本地运行开源大模型的开源平台,可以运行如 Llama 3, Phi 3, Mistral, Gemma等其他大模型。,这里使用postman演示一下。

weixin_39332583的博客 2792
上一篇: 大模型优质书籍推荐!(免费分享PDF)《AI大语言模型的基础与前沿》,程序员都在看的大模型书!!!
下一篇: 5分钟手把手系列(二):本地部署Graphrag(Pycharm+Ollama+LM Studio)
少喝冰美式
博客等级 码龄3年 6847粉丝 517原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值