Mac本地部署大模型-单机运行

已于 2024-07-04 13:45:05 修改
阅读量3k 收藏 17
点赞数 31
分类专栏： 大模型部署 文章标签： macos
于 2024-07-04 01:58:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42458975/article/details/140166164
版权

前些天在一台linux服务器（8核，32G内存，无显卡）使用ollama运行阿里通义千问Qwen1.5和Qwen2.0低参数版本大模型，Qwen2-1.5B可以运行，但是推理速度有些慢。

一直还没有尝试在macbook上运行测试大模型，不知道单机部署是否会有压力？

恰好家里有一台平时用的较少的macbook，因此，简单做了一些测试，分享给大家，供参考和讨论。

电脑配置

所使用的Macbook Pro稍微有些老，配置如下：

  • 机型，MacBook Pro（13 英寸，2019 年）；
  • 芯片，四核Intel Core i5 2.4GHz；
  • 图形卡：Intel Iris Plus Graphics 655 1536 MB =》1.5G显存，是否能有用？
  • 内存，16G；
  • 系统，macOS Sonoma 14.5

（原来系统Catalina 10.15，发现没有brew命令，安装提示系统版本太低，apple已不再支持；同时系统提示，可以升级到最新mac OS，于是安装升级到最新的系统Sonoma，点击

最低0.47元/天 解锁文章
使用 Xinference 部署本地模型
洛阳泰山的博客
04-24 8101
是一款开源模型推理平台，除了支持 LLM，它还可以部署 Embedding 和 ReRank 模型，这在企业级 RAG 构建中非常关键。同时，Xinference 还提供 Function Calling 等高级功能。还支持分布式部署，也就是说，随着未来应用调用量的增长，它可以进行水平扩展。
Linux纯CPU环境部署运行大模型实践
weixin_42458975的博客
06-06 3956
介绍在单台linux系统电脑，纯CPU运行环境下部署运行大模型的三种方式，基于ollama工具，lame.cpp工具和transformers方式加载运行。总体来说，三种方式都较为方便，并且在资源和性能平衡上给出建议，非常适合初学者上手实践。
Mac mini m4本地跑大模型（ollama + deepseek + ComfyUI + Stable Diffusion ｜ flux)
热门推荐
偶尔写些东西，意思一下我也参与了内卷
12-10 1万+
本地大模型，长期更新，可持续关注下！
仅需三步，在 Mac 电脑部署本地大模型，打造私人 ChatGPT
m0_63171455的博客
07-31 7839
型号： MacBook Pro芯片：Apple M1（M1/M2/M3 任何芯片的都可以，越高端的性能越好）内存： 16 G（内存越大越好，8G 也能体验，但是只能用小模型）硬盘： 256 G（越大越好）
Mac用户狂喜！手把手教你本地部署DeepSeek大模型
最新发布
注重AI领域前沿发展
04-29 2550
它清晰地表明，你的 Mac 的 M 芯片（特别是它的统一内存和集成的 GPU），正在被充分利用来执行 AI 的计算任务！就算你之前没怎么接触过终端，跟着我的步骤走，也能轻松搞定！DeepSeek 作为一款优秀的开源模型，能力也很不错，无论是写代码、写文章、翻译还是问答，都能胜任。作为一个技术宅，我一直在想，能不能把这些强大的 AI 能力，，无论是写代码、写文章、头脑风暴，DeepSeek 都能在你本地给你提供强大的帮助！把你的 Mac 变成一个强大的离线 AI 工作站，随时随地发挥 AI 的力量！
5分钟手把手系列(一)：使用Mac Book Pro本地部署大模型
2401_84204413的博客
09-14 2529
AI作为后续的各行各业基础技术设施，其使用门槛会不断降低，各种配套框架、生态也会越加丰富。本人作为一名互联网行业的产品经理（当然，之前也有10来年的Android+iOS+Java后端的开发经验），编写AI模型的本地搭建教程，也是希望通过对新手较为友好的方式，帮助更多对AI感兴趣的同学迈出学习AI技术第一步，只有去深入了解AI背后的运作原理与流程，才能发现AIGC过程中的更多机会。
Mac本地部署大模型体验AIGC能力
m0_63171455的博客
07-14 1497
仅基于Transformer解码器的大模型（图中的蓝色部分），例如，OpenAI的GPT系列、Meta的LLaMa、Google的PaLM等；仅基于Transformer编码器的大模型（图中的粉丝部分），例如，Google的BERT、Meta的RoBERTa等；同时基于Transformer编码器和解码器的大模型（图中的绿色部分），例如，Meta的BART、Google的T5、清华大学的GLM/ChatGLM等。
大模型本地部署：只需三步，手把手带你在Mac本地部署运行AI大模型
2301_81940605的博客
11-18 3911
本文将详细介绍如何使用Ollama，一个开源项目，在Mac上本地运行大型模型（Win同理）。通过遵循以下步骤，即使是配备了几年前硬件的电脑，也能够顺利完成部署和运行。
1 -《本地部署开源大模型》如何选择合适的硬件配置
u010442263的博客
10-15 1万+
如何选择合适的硬件配置
LM Studio、ollama本地部署运行多个AI
轻风细雨_林木木
03-20 1120
总结下来值得推荐的只有 LM Studio 和 ollama ，原因自己查。个人最喜欢 LM Studio ，所以我最后选择 LM Studio。，由 Georgi Gerganov 及社区开发，适用于 llama.cpp、Ollama、LM Studio 等轻量级推理框架。由于现在很多人使用，所以在运行的时候会很慢，为了提升效率，自己部署一台或者多台本地AI；，因为它的计算需求较低。原因二：所有运营AI都会由于过滤敏感信息，所以会存在信息丢失。我的电脑比较破，M2芯片，所以最后综合下来选择。
Macbook Pro 16G 用 cpu 跑开源多模态大模型LLavA
阿呆591的博客
06-05 2288
LLaVA（LLaMA-C++ for Vision and Audio）是一个综合性的多模态大模型，支持视觉和音频数据的处理和分析。LLaVA基于强大的LLaMA模型架构，结合视觉和音频处理技术，能够实现高效的图像描述、音频分析等功能。它适用于需要在本地环境中运行大模型的场景，尤其是对数据隐私和安全性要求较高的应用。博主在MacBook Pro M3 16G上成功运行了LLaVA模型，使得能够在离线环境中运行LLaVA大模型，
Macbook air M2 16G 用cpu跑同大模型知识库文档系统（Langchain-chatchat+llama2-7B量化模型)
weixin_44535385的博客
03-16 5301
经过了5个夜晚的煎熬，终于从一个完全不知大模型为何物的小白身份把知识库问答大模型搞起来，一路尝试几斤辛酸，特别记录下来踩过的各种坑，供大家借鉴！
5分钟在MAC下本地搭建大模型
wushakun的博客
03-26 3440
Ollama——一个简明易用的本地大模型运行框架。随着围绕着 Ollama 的生态走向前台，更多用户也可以方便地在自己电脑上玩转大模型了。Ollama 的目标是帮助开发者在本地运行、创建和共享大型语言模型。Ollama 目前处于早期预览阶段，但已经提供了一些核心功能。例如，它支持运行和对话 Llama 2，这是 Meta 新推出的模型。此外，Ollama 还提供了一个模型库，开发者可以在这里下载和使用各种开源模型。
【一】Mac 本地部署大模型
04-02 973
如果上述安装不成功，可以参照这个 git 进行安装。
『保姆级』大模型教程来了（从入门到实战）
2301_76168381的博客
04-01 5506
在大模型的构建之下，AI自动化交互，将会决定世界的未来，谁的大模型更强大，将决定在遥远的未来的话语权，同时，大模型会成为AI基础设施。AI大模型，正在构建的颠覆力，为了更好的入局AI大模型，🔻 针对ChatGLM大模型，介绍ChatGLM模型微调。🔻 大模型的定义和特点，如预训练、微调、指令学习等。🔻 05 精读大模型-3论文、Instruct论文。🔻 04 GLM-130B训练营——论文泛读。🔻 05 GLM-130B训练营——论文精读。🔻 08 Alpaca训练营——论文精读。
做大模型 千万别买苹果笔记本电脑
weixin_41046245的博客
08-29 6024
256-bit显存位宽，16GB GDDR6X显存，显存频率：22.4GHz。- 384-bit显存位宽，24GB GDDR6X显存，显存频率：21GHz。- 384-bit显存位宽，24GB GDDR6X显存，显存频率：21GHz。- 256-bit显存位宽，16GB GDDR6X显存，显存频率：23GHz。- 256-bit显存位宽，16GB GDDR6X显存，显存频率：21GHz。- 核心频率：2235MHz，加速频率：2520MHz。- 核心频率：2280MHz，加速频率：2520MHz。
大模型私有化部署搭建 单机
03-31
<think>好的，用户想知道如何在单机环境下进行大模型的私有化部署和搭建。首先，我需要理解用户的具体需求。单机环境可能指的是只有一台服务器或台式机，可能具备一个或多个GPU，或者仅使用CPU。私有化部署通常意味着用户希望将模型部署在本地，确保数据安全和隐私，不依赖外部云服务。 接下来，我需要回顾相关的引用内容，看看是否有直接相关的信息。引用[2]提到了一键Docker部署，支持单机、量化、Mac、单GPU和多GPU部署，还解决了模型下载的问题。引用[4]提到用户有Paddle和PyTorch环境，可能对深度学习框架比较熟悉，并且在开发基于LLM的RAG应用。引用[5]展示了如何用ChromaDB和HuggingFace的嵌入模型，这可能涉及向量数据库的部署，属于应用层的一部分。 用户的问题涉及大模型私有化部署，可能需要涵盖环境准备、模型选择、部署方式、验证测试以及应用集成等方面。首先，环境准备需要考虑硬件资源，比如GPU是否可用，内存和存储是否足够。然后，模型选择方面，可能需要推荐一些适合单机部署的模型，如ChatGLM3、Llama等，这些模型可能有量化版本，适合资源有限的单机环境。 部署方式方面，Docker容器化部署是一个高效的选择，可以避免环境配置的麻烦。引用[2]中的Docker方案可以简化部署流程，用户只需调整参数即可适配不同硬件。此外，直接使用框架部署，比如PyTorch或PaddlePaddle，也是一个选项，但可能需要用户自己处理依赖和环境配置。 验证和测试部分需要确保模型能够正常运行，可能包括简单的推理测试，如输入文本生成响应。应用集成可能需要结合LangChain等工具，构建RAG应用，如引用[5]中的ChromaDB向量数据库，用于存储和检索文档。 另外，需要注意模型下载的问题，国内用户可能面临下载缓慢的情况，引用[2]提供了解决方案，比如使用镜像源或离线包。同时，硬件资源不足的情况下，量化技术（如4-bit量化）可以降低模型的内存占用，这对单机部署尤为重要。 可能还需要考虑安全性和后续维护，比如如何更新模型、监控服务状态等。不过用户当前的问题主要集中在搭建和部署，这些高级管理可能暂时不需要详细展开。 总结起来，回答的结构应该分步骤进行，从环境准备到模型选择、部署方式、验证测试、应用集成，再到注意事项。每个步骤需要结合引用中的相关信息，特别是Docker部署和量化技术，以及模型下载的解决方案。同时，用户提到在做RAG应用，可能需要强调与LangChain和向量数据库的集成，如引用[5]中的示例。 最后，生成相关问题时要围绕大模型部署的扩展问题，比如性能优化、安全性、硬件不足的解决方法等，帮助用户进一步探索。</think>### 大模型单机私有化部署方案 #### 1. **环境准备** - **硬件要求**： - GPU环境：推荐至少16GB显存（如NVIDIA RTX 3090/4090），支持FP16/INT8量化加速[^2] - CPU环境：需支持AVX指令集，内存建议32GB以上（适用于小规模模型或量化版本） - **软件依赖**： - 安装Docker（推荐使用官方镜像简化环境配置）[^2] - 深度学习框架：PyTorch/PaddlePaddle（根据模型需求选择）[^4] - 模型管理工具：Hugging Face Transformers、LangChain（用于RAG应用集成）[^5] #### 2. **模型选择与下载** - **推荐模型**： - 轻量化模型：ChatGLM3-6B（支持中英文，适合单机部署） - 开源模型：Llama-2-7B、Falcon-7B（需注意许可证限制） - 量化版本：使用4-bit量化技术降低显存占用（如GPTQ量化）[^2] - **下载方式**： - 通过Hugging Face Hub直接下载（需配置代理或使用国内镜像源） - 离线包分发（适用于无法连接外网的环境）[^2] #### 3. **部署方式** - **Docker一键部署**（推荐）： ```bash # 拉取预配置镜像（包含模型和依赖） docker pull [镜像名称]:latest # 启动容器（示例为单GPU） docker run -it --gpus all -p 7860:7860 -v /path/to/model:/app/model [镜像名称] ``` 通过修改`--gpus`参数适配不同硬件环境[^2] - **手动框架部署**（PyTorch示例）： ```python from transformers import AutoModel, AutoTokenizer model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True) tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b") response, history = model.chat(tokenizer, "你好", history=[]) ``` 需自行解决CUDA/cuDNN版本兼容问题[^4] #### 4. **验证与测试** - **基础功能验证**： ```python import paddle # 或 torch paddle.utils.run_check() # 验证框架环境[^4] ``` - **模型推理测试**： ```python input_text = "解释量子计算" outputs = model.generate(input_text, max_length=100) print(outputs) ``` #### 5. **应用集成** - **RAG应用示例**（结合LangChain）： ```python from langchain_community.vectorstores import Chroma from langchain_community.embeddings import HuggingFaceEmbeddings # 加载本地向量数据库 embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-small-zh-v1.5") vectorstore = Chroma.from_documents(docs, embeddings, persist_directory="./rag_db")[^5] ``` #### 6. **注意事项** - **显存优化**： - 使用`accelerate`库实现模型并行 - 启用`fp16`混合精度训练/推理 - **安全加固**： - 通过防火墙限制外部访问端口 - 启用HTTPS加密API通信 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值