MLX：苹果 专为统一内存架构（UMA） 设计的机器学习框架

最新推荐文章于 2025-03-27 15:26:14 发布
最新推荐文章于 2025-03-27 15:26:14 发布
阅读量1.2k 收藏 6
点赞数 7
文章标签： 人工智能 mac macos 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Gloamirror/article/details/135038859
版权

“晨兴理荒秽，带月荷锄归”

夜深闻讯，有点兴奋～

苹果为 UMA 设计的深度学习框架真的来了
统一内存架构 得益于 CPU 与 GPU 内存的共享，同时与 MacOS 和 M 芯片 交相辉映，在效率上，实现对其他框架的降维打击。 

搓手学习，有点精彩👐🏻

60d42a29fd6a45d88f32bf389c3af747.png

MLX 地址

翻译：

MLX是苹果硅片上机器学习的数组框架，由苹果机器学习研究团队带来。

MLX的一些关键特性包括：

熟悉的API：MLX具有与NumPy非常相似的Python API。MLX还有一个功能齐全的C++ API，与Python API非常相似。MLX拥有像mlx.nn和mlx.optimizers这样的高级包，其API紧密跟随PyTorch，以简化构建更复杂的模型。

可组合函数转换：MLX支持自动微分、自动向量化和计算图优化的可组合函数转换。

延迟计算：MLX中的计算是延迟的。数组只有在需要时才实现。

动态图构建：MLX中的计算图是动态构建的。更改函数参数的形状不会触发慢速编译，调试简单直观。

多设备：操作可以在任何支持的设备上运行（目前是CPU和GPU）。

统一内存：MLX与其他框架的一个显著区别是统一内存模型。MLX中的数组存在于共享内存中。在任何支持的设备类型上对MLX数组进行的操作都无需传输数据。

MLX由机器学习研究人员为机器学习研究人员设计。该框架旨在用户友好，但仍然高效地训练和部署模型。框架本身的设计也概念上很简单。我们的目标是让研究人员能够轻松扩展和改进MLX，以快速探索新想法。

MLX的设计灵感来自于像NumPy、PyTorch、Jax和ArrayFire这样的框架。

Gloamirror
关注
苹果大模型系列之 使用 Apple 的 MLX 框架在 Apple Silicon 上运行大型语言模型 (Llama 3)，使用 Apple Silicon (M1、M2、M3、M4) 上的 Appl
iCloudEnd的博客
07-08 606
MLX 受到 PyTorch、Jax 和 ArrayFire 的启发，是 Apple Machine Learning Research 专为 Apple 芯片设计的模型训练和服务框架。它支持一系列机器学习任务，包括大规模文本生成、图像生成和语音识别。该框架与 Hugging Face 集成，可实现模型的无缝加载和服务。
苹果大模型系列之深入研究新深度学习库 MLX，使用 Apple 的 MLX和Streamlit 框架在本地部署 LLM(教程含源码)
iCloudEnd的博客
06-28 252
2023 年 12 月，Apple 发布了新的MLX 深度学习框架，这是由其机器学习研究团队开发的用于 Apple 芯片上机器学习的阵列框架。本教程将探索该框架并演示如何在 MacBook Pro (MBP) 上本地部署 Mistral-7B 模型。我们将设置一个本地聊天界面来与部署的模型进行交互，并测试其每秒生成的令牌的推理性能。此外，我们将深入研究 MLX API，以了解可用于改变模型行为和影响生成文本的杠杆。
苹果深度学习框架`MLX`简介及编译示例
胡争辉
12-16 2353
MLX北京时间2023年12月6日，苹果机器学习研究中心 (Apple machine learning research) 在GitHub上开源MLX。项目地址为。MLX深度学习框架是苹果专门为芯片优化，号称能够简化MaciPadiPhone平台研究人员设计和部署模型的过程。MLX熟悉的 APIMLX具有紧密类似NumPy的Python API。MLX还拥有功能齐全的C++ API，它与Python API非常相似。MLX具有像mlx.nn和这样的更高级别的软件包，其API紧密类似PyTorch。
mlx-engine：为LM Studio量身打造的Apple MLX LLM引擎
gitblog_01114的博客
03-27 324
mlx-engine：为LM Studio量身打造的Apple MLX LLM引擎 mlx-engine ???????? Apple MLX engine for LM Studio 项目地址: https://gitcode.com/gh...
MLX：苹果Silicon上的高效灵活机器学习框架
gitblog_00816的博客
09-12 607
MLX：苹果Silicon上的高效灵活机器学习框架 mlx Machine Learning eXchange (MLX). Data and AI Assets Catalog and Execution Engine 项目地址...
专为Apple Silicon优化的开源机器学习框架：MLX （Machine Learning eXtension）
skywalk8163的专栏
02-15 766
MLX能够充分利用Apple Silicon芯片的高性能和能效比，提供更快的训练和推理速度。比如在安装exo的时候，可能就需要安装mlx库。使用M系列芯片（Apple Silicon），原生支持Python >= 3.9，macOS >= 13.5。但是如果mac是Intel芯片，好像就没法装了。会输出arm或者i386。也可以使用uname查询。
MLX: 面向苹果芯片的高效数组框架
gitblog_00090的博客
11-05 465
MLX: 面向苹果芯片的高效数组框架 mlx MLX：一个用于苹果硅芯片的数组框架。 项目地址: https://gitcode.com/gh_mirrors/ml/mlx ...
使用 Apple MLX 对 LLM 进行医学诊断预测微调（教程含完整源码）
iCloudEnd的博客
11-11 336
在我之前的文章中，我讨论了微调大型语言模型 (LLM) 的基础知识及其使用该Apple MLX框架的具体用例，包括如何构建 LLM 的自定义版本。那篇文章重点介绍了使用 微调 LLM 的特定用例，mistralai/Mistral-7B-Instruct-v0.2用于Low Rank Adapters (LoRA)文本到 SQL 任务，允许模型根据用户提示生成 SQL 查询。在这篇文章中，我将探讨用于医疗诊断预测的更高级 LLM 微调用例。
matlab分时代码-mlx:机器学习探索-机器学习资源列表
05-21
matlab分时代码机器学习探索 机器学习资源列表。 2020-05-28 OpenAI关于GPT-3训练的论文，GPT-3是一种具有1,750亿个参数的自回归语言模型。 #nlp 2019-05-28 Tan Mingxing和Quoc V. Le的论文，提出了一种缩放方法，...
tinygrad框架简介；MLX框架简介
ZJQ的博客
07-22 693
极简主义与易扩展性tinygrad 的设计理念是极简主义。与 XLA 类比，如果 XLA 是复杂指令集计算 (CISC)，那么tinygrad 就是精简指令集计算 (RISC)。这种简约的设计使得它成为添加新加速器最容易的框架之一。通过简化框架的架构，开发者可以更轻松地理解和扩展它。基本信息开发者：tiny corp设计理念：极简主义。tinygrad被设计为一个既支持推理又支持训练的深度学习框架，其设计理念类似于精简指令集计算（RISC），这使得添加新加速器变得容易。状态。
MLX框架的一些示例 包含：文本模型、图像模型、音频模型等
03-11
此存储库包含使用 MLX 的各种独立示例 框架。 文本模型 Transformer 语言模型训练。 在 LLMs 目录中使用 LLaMA、Mistral、Phi-2 等生成大规模文本。 具有 Mixtral 8x7B 的混合专家 （MoE） 语言模型。 使用 LoRA 或...
文件类型转换器：将.mlx文件更改为.m文件，反之亦然-matlab开发
05-28
将.mlx文件转换为.m文件，并将.m文件转换为.mlx文件并转换为Matlab。 好处： -同时支持多个文件-不需要写文件类型-仅允许.mlx文件用于mlx2m功能-仅允许.m文件用于m2mlx功能-转换后删除以前的文件-查看运行时间 对于...
毕业设计-基于STM32驱动MLX90614红外测温模块项目源码（高分项目）
11-30
毕业设计-基于STM32驱动MLX90614红外测温模块项目源码（高分项目）毕业设计-基于STM32驱动MLX90614红外测温模块项目源码（高分项目）毕业设计-基于STM32驱动MLX90614红外测温模块项目源码（高分项目）毕业设计-基于...
从头造轮子 or 重复造轮子？苹果开源 MLX，为自家芯片专属定制机器学习框架...
网易智能
12-07 542
北京时间 12 月 6 日，苹果机器学习研究中心 (Apple machine learning research) 在 GitHub 上开源 MLX。苹果机器学习研究中心研究科学家 Awni Hannun在个人 Twitter 宣布这一消息苹果芯片「专属定制版」机器学习框架MLX 是一个专为苹果芯片设计的机器学习框架，旨在保证用户友好的前提下，支持高效地在苹果芯片上训练及部署模型。MLX 设计...
推荐开源项目：MLX——新一代机器学习框架
gitblog_00062的博客
05-09 1129
推荐开源项目：MLX——新一代机器学习框架 项目地址:https://gitcode.com/gh_mirrors/ml/mlx 1、项目介绍 MLX是一个专为苹果芯片设计的机器学习数组框架，由Apple的机器学习研究团队打造。该项目旨在提供一个既简单易用又高效的研究环境，让研究人员能够快速探索和实现新的算法思想。MLX的设计灵感来源于NumPy、PyTorch、Jax以及ArrayFire等知名...
苹果大模型系列之Apple MLX 与 Llama.cpp 对比 Hugging Face Candle Rust，实现本地闪电般快速的LLM
iCloudEnd的博客
06-28 813
在 NLP 部署方面，推理速度是一个至关重要的因素，特别是对于支持 LLM 的应用程序而言。随着 Apple M1 芯片等移动架构数量的不断增长，评估 LLM 在这些平台上的性能至关重要。在本文中，我比较了三个流行的 LLM 库（MLX、Llama.cpp和Hugging Face 的Candle Rust）在Apple M1 芯片上的推理/生成速度。旨在方便开发人员选择最合适的库在本地机器上部署 LLM，同时考虑性能、实现的便利性以及与可用工具和框架的兼容性。
MLX：苹果发布新的机器学习框架
极道Jdon的技术博客
12-07 989
MLX 具有更高级的软件包，例如mlx.nn和 以及mlx.optimizers紧密遵循 PyTorch 的 API，以简化构建更复杂的模型。可以在任何支持的设备类型上执行 MLX 阵列上的操作，而无需移动数据。mlx-examples 存储库似乎拥有所有值得关注的模型和强制性 mnist 模型的示例实现，所有这些都在 MLX 中本地实现。值得注意的是，许多最新的发现都作为库中的原语提供。动态图构建：MLX 中的计算图是动态构建的。对于你的优化，它支持高阶梯度，高效的jvp和像JAX一样的vjp。
推荐：Pico MLX Server —— 您的Apple MLX框架入门助手
gitblog_00051的博客
06-01 504
推荐：Pico MLX Server —— 您的Apple MLX框架入门助手 PicoMLXServerThe easiest way to run the fastest MLX-based LLMs locally项目地址:https://gitcode.com/gh_mirrors/pi/PicoMLXServer 想要轻松探索Apple的MLX（Machine Learning Exc...
苹果大模型系列之 使用 MLX 在 macOS 上通过 LLM 微调构建自己的 LLM，在 Mac M2 上，训练过程大约需要 36 分钟（教程含详细步骤与代码）
iCloudEnd的博客
06-28 1444
在我之前的系列文章LlamaIndex中，我讨论了使用、LangChain等工具构建 RAG 应用程序，GPT4All, Ollama以利用 LLM 满足特定用例。在这篇文章中，我将探讨另一种称为 LLM 微调的方法。我使用名为的工具在 macOS 上对 Meta 的 LLaMA-3 和 Mistral LLM 进行了微调MLX，该工具是专为 Apple 芯片上的机器学习研究量身定制的数组框架。这种微调是使用一种名为的技术完成的Low Rank Adapters(LoRA)。
mac 部署大模型
最新发布
04-03
<think>嗯，用户想了解如何在Mac上部署大模型。首先，我需要明确用户的需求是什么。大模型通常指像LLaMA、Alpaca这样的生成式AI模型，对吧？用户可能是个开发者，或者对AI有兴趣的普通用户，想在本地运行这些模型，而不是依赖云端服务。那Mac的硬件配置是关键，特别是Apple Silicon芯片的Mac，因为它们有统一的内存架构，可能更适合跑大模型。 接下来，我得考虑部署的具体步骤。通常，部署大模型需要几个环节：环境准备、模型选择、依赖安装、实际运行和优化。可能用户还需要一些性能优化的建议，毕竟Mac的资源有限，尤其是内存和显存。 首先，环境方面，需要安装Python、PyTorch，特别是支持M1/M2的版本。PyTorch的MPS后端可以加速训练和推理，这点很重要。然后，模型的选择，比如较小的版本，如LLaMA-7B或Alpaca-7B，因为Mac的内存可能不够跑更大的模型。用户可能需要了解如何通过Hugging Face下载这些模型，或者使用转换后的版本，比如用llama.cpp来优化。 然后，具体的安装步骤，比如用Homebrew安装依赖，用pip安装必要的库。还要考虑模型量化，比如使用4-bit或8-bit量化来减少内存占用，这可能是关键步骤，否则模型可能无法在Mac上运行。 另外，用户可能遇到常见问题，比如内存不足、速度慢，或者依赖冲突。需要提前想到这些，并提供解决方案，比如关闭其他应用，使用量化模型，或者更新库版本。 可能还需要推荐一些工具和框架，比如llama.cpp、MLX，这些专门为Apple芯片优化的项目，能提升性能。还有图形界面工具，像GPT4All，适合不想折腾命令行的用户。 最后，要提醒用户注意模型的版权和许可，确保合法使用。同时，Mac的散热和耗电情况，长时间运行大模型可能会让机器发热，影响体验。 总结一下，回答的结构应该是分步骤的，先环境准备，再模型下载，安装依赖，运行示例，然后优化建议，常见问题处理，工具推荐和注意事项。这样用户能一步步跟着操作，遇到问题也有参考解决方法。同时，语言要简洁明了，避免使用太专业的术语，让不同层次的用户都能理解。</think>在Mac上部署大模型（如LLaMA、Alpaca等）需要结合硬件配置和软件优化，以下是分步指南： --- ### 一、硬件要求 1. **Apple Silicon芯片**（M1/M2/M3系列）优先 - 得益于统一内存架构（UMA），可共享内存运行大模型 - 最低内存建议：16GB（7B模型），32GB（13B模型） 2. **Intel芯片Mac** - 需通过CPU运行，速度较慢，建议使用量化模型（如4-bit/8-bit） --- ### 二、部署流程 #### 步骤1：环境准备 1. 安装Python（推荐3.10+） ```bash brew install python ``` 2. 安装PyTorch（适配Apple芯片） ```bash pip install torch torchvision torchaudio ``` #### 步骤2：选择模型 - **推荐模型** - LLaMA-7B/13B（需申请权限） - Alpaca-7B（指令微调版） - 量化模型：通过[Hugging Face](https://huggingface.co/)搜索`ggml`格式（如`llama-7b-ggml`） #### 步骤3：安装依赖库 ```bash pip install transformers accelerate sentencepiece # 若使用量化模型 pip install llama-cpp-python ``` #### 步骤4：运行示例代码 ```python from transformers import AutoTokenizer, AutoModelForCausalLM model_name = "decapoda-research/llama-7b-hf" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto") input_text = "苹果公司总部在" inputs = tokenizer(input_text, return_tensors="pt").to("mps") # M1/M2使用mps加速 outputs = model.generate(**inputs, max_length=50) print(tokenizer.decode(outputs[0])) ``` --- ### 三、优化技巧 1. **模型量化** 使用4-bit/8-bit量化减少内存占用： ```python model = AutoModelForCausalLM.from_pretrained(model_name, load_in_4bit=True) ``` 2. **专用工具** - [llama.cpp](https://github.com/ggerganov/llama.cpp)：C++实现，内存效率高 - [MLX](https://github.com/ml-explore/mlx)：Apple官方机器学习框架 --- ### 四、常见问题 1. **内存不足** - 关闭其他应用 - 使用更小模型（如TinyLlama-1.1B） 2. **速度慢** - 开启`device_map="mps"`（Apple Silicon专用） - 减少`max_length`参数 3. **依赖冲突** ```bash python -m venv .venv # 创建虚拟环境 source .venv/bin/activate ``` --- ### 五、工具推荐 1. **Ollama**（一键部署工具） ```bash brew install ollama ollama run llama2 ``` 2. **GPT4All**（图形界面） ```bash brew install --cask gpt4all ``` --- ### 六、注意事项 - 模型文件较大（7B约13GB），确保磁盘空间充足 - 首次运行需下载模型，建议使用国内镜像源 - 遵守模型许可证（如LLaMA禁止商用） 通过以上步骤，可在Mac本地高效运行大模型。建议从7B小模型开始测试，逐步调整参数优化体验。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值