在Mac M1笔记本上跑大语言模型llama3的4个步骤？（install、pull、run、ask）

北冥的备忘录

已于 2024-04-23 10:07:18 修改

阅读量1.2w

点赞数 31

CC 4.0 BY-SA版权

分类专栏：软件工具使用文章标签： macos 开发语言大模型人工智能 AI

于 2024-04-23 01:01:12 首次发布

本文链接：https://blog.youkuaiyun.com/essencelite/article/details/138098427

本文详细介绍了Ollama工具的下载、模型获取、运行以及测试过程，包括支持的多种模型和不同硬件环境下的性能。Ollama以其简单易用性，使得用户能快速上手并利用大模型进行各种任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

要点

Ollama一个功能强大的本地大语言模型LLM运行工具，支持很多模型，并且操作极其简单
快速回忆步骤：

下载ollama工具：https://ollama.com/download
下载模型：ollama pull llama3 #根据libs列表直接指定名字
运行模型：ollama run llama3
测试：直接问他问题（可以关闭网络）

步骤

Step1. 下载ollama（根据平台选择）

https://ollama.com/download
在这里插入图片描述
下载后将软件安装，解压后拷贝到应用程序：

安装用户态命令：（点击install）

Step2：下载模型文件

支持

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

北冥的备忘录

关注关注

31
点赞
踩
21

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

苹果大模型系列之使用 Apple 的 MLX 框架在 Apple Silicon 上运行大型语言模型 (Llama 3)，使用 Apple Silicon (M1、M2、M3、M4) 上的 Appl

iCloudEnd的博客

07-08

660

MLX 受到 PyTorch、Jax 和 ArrayFire 的启发，是 Apple Machine Learning Research 专为 Apple 芯片设计的模型训练和服务框架。它支持一系列机器学习任务，包括大规模文本生成、图像生成和语音识别。该框架与 Hugging Face 集成，可实现模型的无缝加载和服务。

自己动手在Mac M1上搭建一个大模型聊天机器人

agentfans的博客

06-16

1732

在本地运行开源模型的最有效方法是使用llama.cpp项目，llama.cpp是由机器学习专家Georgi Gerganov开发的开源大模型推理框架，最初是为了在本地运行Meta的Llama大模型，经过开源社区的努力，现在能够支持包括Google的Gemma、国内的通义千问、百川等在内的大模型，该项目在github上当前已有60K star。同样得益于技术社区的努力，一些基础的大模型（如llama 7b）也能够在CPU上运行，只是速度可能稍慢，这对于没有独立显卡的普通PC或笔记本用户来说是一个福音。

2 条评论您还未登录，请先登录后发表或查看评论

Macbook Pro 16G 用 cpu 跑开源多模态大模型LLavA

阿呆591的博客

06-05

2327

LLaVA（LLaMA-C++ for Vision and Audio）是一个综合性的多模态大模型，支持视觉和音频数据的处理和分析。LLaVA基于强大的LLaMA模型架构，结合视觉和音频处理技术，能够实现高效的图像描述、音频分析等功能。它适用于需要在本地环境中运行大模型的场景，尤其是对数据隐私和安全性要求较高的应用。博主在MacBook Pro M3 16G上成功运行了LLaVA模型，使得能够在离线环境中运行LLaVA大模型，

最强本地部署教程：macOS + Ollama + Enchanted，本地部署最新 Llama3

最新发布

DEVELOPERAA的博客

05-25

1070

我们将在MacBook Pro上部署Llama3，让大家在本地体验最强开源大模型。

Llama（一）：Mac M1芯片运行Llama3

hugo_lei的博客

06-02

2064

在Mac M1 16G内存环境中，部署并使用Llama3 8B

Mac环境下ollama部署和体验

Y525698136的博客

12-20

7199

ollama和LLM（大型语言模型）的关系，类似于docker和镜像，可以在ollama服务中管理和运行各种LLM，下面是ollama命令的参数，与docker管理镜像很类似，可以下载、删除、运行各种LLM

基于MacBook Pro M1芯片运行chatglm2-6b大模型

最美dee时光的博客

01-22

2572

更强大的性能。更长的上下文。更高效的推理。更开放的协议。详细介绍参考官方README介绍。

AI菜鸟向前飞 — LLM简介

2401_82469710的博客

05-11

1637

AI菜鸟向前飞 — LLM简介

大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战

06-20

大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战大模型部署-在本地计算机上推理LLaMA大语言...

人工智能-大模型-基于LLAMA2的增量预训练藏文大语言模型

10-21

在大模型微调过程中，LORA通过调整模型的低秩参数结构，允许模型以较小的计算量实现较好的性能，这对于减轻训练负担、提高微调效率具有重要意义。本项目使用LORA技术对LLAMA2架构下的藏文模型进行了微调，进一步提升...

大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战.zip

10-15

在人工智能领域，大模型的部署和推理是将理论研究转化为实际应用的关键步骤。本项目实战教程专注于指导用户如何在个人计算机上部署并运行LLaMA大语言模型。LLaMA模型，作为一种先进的语言模型，其强大的语义理解和...

挖掘M2 Pro 32G UMA内存潜力：在Mac上本地运行清华大模型ChatGLM2-6B

weixin_41888295的博客

03-20

759

本文将介绍如何在配备M2 Pro 32G UMA内存的Mac上本地运行清华大模型ChatGLM2-6B，挖掘其内存潜力，实现高效的自然语言处理任务。通过清晰的步骤和生动的实例，读者将能够理解复杂的技术概念，并掌握实际操作方法。

Mac M1 + Ollama + Llama3：30 分钟教你在个人电脑快速安装配置大模型

m0_59164304的博客

08-01

3063

通过 Ollama 在 Mac M1 的机器上快速安装运行 shenzhi-wang 的 Llama3-8B-Chinese-Chat-GGUF-8bit 模型，不仅简化了安装过程，还能快速体验到这一强大的开源中文大语言模型的卓越性能。希望本文能为在个人电脑使用大模型提供一些启发。

【Pytorch】【MacOS】14.m1芯片使用mps进行深度模型训练

Elephant_King的博客

05-18

7159

我们可以看到使用GPU的速度在本模型中还是比CPU快不少的。进行验证是否可以使用mps进行训练。就可以实现m1芯片来进行gpu训练。的情况下每训练100次的时间。的情况下每训练100次的时间。然后我们需要在三处添加为。分别在上面四处进行修改。CIFAR10数据集。首先我们先要引入设备。

Macbook air M2 16G 用cpu跑同大模型知识库文档系统（Langchain-chatchat+llama2-7B量化模型)

weixin_44535385的博客

03-16

5343

经过了5个夜晚的煎熬，终于从一个完全不知大模型为何物的小白身份把知识库问答大模型搞起来，一路尝试几斤辛酸，特别记录下来踩过的各种坑，供大家借鉴！

macOS + Ollama + Enchanted，本地部署最新 Llama3

2301_76168381的博客

05-08

2893

Ollama社区也同步新增 Llama3 的支持。接下来，我们将在MacBook Pro上部署Llama3，让大家在本地体验最强开源大模型。硬件设置，MacBook Pro (2019款)，Intel CPU，8 Core，16GB内存。

Mac本地部署大模型-单机运行

weixin_42458975的博客

07-04

3063

在macbook上单机部署运行测试大模型，使用ollama运行阿里通义千问Qwen2.0低参数版本大模型，并给出性能对比。

记录｜M1 Pro mps跑模型LeNet和AlexNet

weixin_45041379的博客

10-09

1790

2022.10.9 记录M1 Pro mps跑模型

笔记本电脑就能跑的本地AI聊天机器人【使用Ollama运行llama3】

qifengle2014的博客

05-10

704

笔记本电脑就能跑的本地AI聊天机器人【使用Ollama运行llama3】

笔记本上跑大语言模型llama3

07-04

笔记本电脑上运行大规模语言模型（如LLAMA3）可能涉及到一些性能挑战。LLAMA3通常指的是大型预训练语言模型，它们由于参数量庞大（数万亿到数千亿参数），对计算资源的需求非常高，特别是内存和处理器性能。要在笔记本电脑上部署这样的模型，你需要满足以下几个条件： 1. **硬件配置**：高配置的笔记本，至少要有强大的CPU（Intel Core i7或更高）、大量的RAM（至少16GB，推荐32GB以上），以及高效的GPU（NVIDIA Tesla系列或者AMD Radeon Pro系列）。 2. **软件支持**：使用支持并行计算和分布式训练的框架，如PyTorch、TensorFlow等，并且这些框架需要能在笔记本环境上良好优化。 3. **内存管理**：模型在运行时可能会导致显存溢出，所以可能需要采用内存分片或者其他内存节省技术。 4. **云计算选项**：如果没有足够的本地硬件资源，可以考虑使用云服务提供商（如AWS、Google Cloud或Azure）提供的机器学习实例，这些服务允许按需分配计算资源。然而，对于像LLAMA3这样超大规模的模型，笔记本电脑作为主力设备可能是不太现实的选择，更适合用在高性能服务器或专门的AI工作站上。