端侧 AI 模型商店来袭，谁能成为 On-device 版本的 Hugging Face？

最新推荐文章于 2025-12-21 20:55:23 发布
原创 最新推荐文章于 2025-12-21 20:55:23 发布 · 845 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #LLM #端侧 AI #生成式 AI #深度学习

本文首发于微信公众号：On-Device AI，欢迎关注，在这里，我们聚焦于设备上生成式人工智能的最新进展、技术深度解析、应用案例分享及未来趋势展望。

在科技浪潮的推动下，我们正经历一场前所未有的技术变迁——从云端计算向端侧智能的深刻转型。端侧 AI 模型商店的蓬勃兴起，不仅是技术边界的拓展，更是对开发者与用户自由度的全面释放。想象一下，未来的智能手机、智能手表乃至家中的每一个角落，都能独立运行复杂的 AI 任务，无需云端干预，这将开启一个怎样的智能新时代？

端侧AI：隐私、效率与自主性的完美融合

端侧 AI，顾名思义，是指在设备本地直接运行 AI 模型的技术。这一变革性进步，从根本上解决了数据隐私泄露的风险，消除了网络延迟与带宽限制的束缚，让智能应用更加高效、自主。随着 AI 芯片与算法的不断优化，如今的终端设备已经逐渐开始能轻松驾驭复杂的计算任务，实现真正的“智能在手”。

Nexa On-Device AI Hub：探索端侧智能的新边疆

这场端侧 AI 革命的先锋之一，便是 Nexa On-Device AI Hub。作为一个汇聚了超700个量化端侧 AI 模型的宝库，它覆盖了从多模态处理到自然语言理解，从计算机视觉到音频识别的广泛领域。通过精细化的筛选功能，无论是模型类型、文件大小还是性能参数，都能轻松找到最适合您设备需求的那一款。这不仅为开发者提供了丰富的资源选择，也为用户带来了前所未有的个性化智能体验。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

Qualcomm AI Hub：硬件与软件的强强联合

而提到端侧 AI 的推动者，不得不提 Qualcomm AI Hub，作为行业巨头，高通不仅在 AI 模型与工具方面持续贡献，更通过其强大的 Snapdragon 处理器系列，为端侧 AI 提供了坚实的硬件支撑。这种软硬件的深度融合，让 AI应用在移动设备上的运行更加流畅、高效，进一步加速了端侧智能的普及与发展。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

量化技术：为 AI 模型穿上“瘦身衣”

在这场端侧 AI 的盛宴中，量化技术无疑扮演了关键角色。它通过精细地调整模型参数，实现了模型体积的大幅压缩，同时尽可能保持原有的性能与精度。这对于资源受限的终端设备来说，无疑是天大的福音。无论是 Nexa On-Device AI Hub 还是 Qualcomm AI Hub，都提供了多种量化级别的模型供用户选择，让每一位开发者都能根据自己的需求，在模型大小、质量与性能之间找到最佳的平衡点。

结语：端侧 AI 的无限可能

随着端侧 AI 技术的不断成熟与普及，一个全新的 On-device AI 生态系统正在逐步形成。在这个生态系统中，Nexa On-Device AI Hub、Qualcomm AI Hub 等平台将发挥至关重要的作用，它们不仅为开发者提供了丰富的资源与工具支持，更为用户带来了前所未有的智能体验。而谁将在这场端侧 AI 的竞赛中脱颖而出，成为该领域的“Hugging Face”，让我们共同期待这一历史时刻的到来。未来已来，让我们携手并进，共同探索端侧 AI 的无限可能！

端侧模型 + 硬件：AI爆发的下一个机会？｜端侧模型｜AI硬件｜人工智能
08-31 1703
随着人工智能（AI）的飞速发展，传统的云端AI模型正逐渐面临性能瓶颈、隐私保护、实时性需求等多方面的挑战。为了应对这些问题，端侧模型与硬件的结合成为了一种新的解决方案，并被认为是AI爆发的下一个机会。端侧模型指的是在用户设备本地运行的AI模型，而不再完全依赖于云端计算。这种模式结合了专用AI硬件的加速能力，为各类智能设备提供了更强的计算能力和灵活性。那么，端侧模型和硬件的结合，真的能够推动AI的下一次爆发吗？本文将深入探讨这一问题，从技术发展、应用场景、挑战与未来趋势等多角度进行分析。
Hugging Face Transformers进阶：模型微调与训练
加入“Super Entity”，与全能开发团队共探AI智能体与数字人项目，开启前沿技术之旅。
05-03 604
模型微调是指在预训练模型的基础上，针对特定任务进行进一步训练的过程。预训练模型通常在大规模通用语料上进行训练，能够学习到语言的通用特征。然而，这些模型可能无法直接适应特定任务的需求。通过在特定任务的数据集上继续训练，我们可以调整模型的参数，使其更好地捕捉任务相关的特征，从而提升模型在该任务上的性能。定义训练循环是微调过程的核心步骤。加载数据：使用Dataset类加载数据集。定义模型：加载预训练模型，并根据任务需求添加额外的层（如分类层）。定义优化器和损失函数：选择合适的优化器和损失函数。训练模型。
华为云发布国内首个 AI 模型市场，加速企业 AI 应用落地
优快云资讯
03-21 1877
华为云在 3 月 21 日的 2019 华为中国生态伙伴大会上，正式发布华为云 AI 市场；同时宣布投入专项激励，在 AI 市场上帮助开发者、合作伙伴加速企业的 AI 应用落地。 华为云 AI 市场是在华为云 ModelArts 一站式AI开发平台基础上构建的开发者生态社区，提供 AI 模型、API 交易以及数据、竞赛案例等内容共享功能，为高校科研机构、AI 应用开发商、解决方案集成商、企业...
on-device training
whaosoft143ai的博客
12-15 970
再者，现有的低成本高效转移学习算法，例如只训练最后一层分类器 （last FC），只进行学习 bias 项，往往准确率都不尽如人意，无法用于实践，更不用说现有的深度学习框架无法将这些算法的理论数字转化为实测的节省。传统的训练由于其巨大的内存开销，往往是云端进行训练而边缘平台仅负责推理。TinyTraining 可以赋能许多有趣的应用，例如手机可以根据用户的邮件/输入历史来定制语言模型，智能相机可以不断地识别新的面孔/物体，一些无法联网的 AI 场景也能持续学习（例如农业，海洋，工业流水线）whaosoft
AI端侧部署：模型跑起来、跑得快、持续跑
qq_15821487的博客
04-14 2375
应用 边缘计算 BML 全功能开发平台 技术难点 硬件适配难 专业，消费，嵌入式 不同端侧设备的特点 不同框架的模型适配，转换成中间的模型 框架细节对齐，参数取整问题 算子融合和扩展 支持芯片、平台、各种框架 跑得快并且降低精度 模型性能优化 模型压缩 模型量化 剪枝蒸馏 组合性能优化 压缩调度，不同的网络结构已经形成一定的机制，网络算子已经数据库化 应用的考虑，成本，泛化能力快速迭代 数据回流的闭环，人工着重关注难例分析 SDK优化 端侧部署优化 按需部署
OpenAI放大招！推出史上最强「模型商店」，打通所有ChatGPT应用
深度学习技术前沿
06-26 358
来源：新智元OpenAI又双叒叕放大招了！简单来说，Sam Altman打算把市面上的大模型拉一个平台，搞一个LLM版的App Store。这样一来，AI模型的生态直接就给OpenAI抢完了。这个平台属于是双向对接——开发者可以将根据自己需求定制的AI模型出售，企业也可以非常方便的把市面上的LLM尽收眼底，按需使用。知情人士表示，这个设想可以概括为OpenAI版的「应用商店」，为企业提供访问最新L...
【大模型微调学习6】-实战Hugging Face Transformers工具库
m0_61222152的博客
12-17 1249
从0开始掌握Hugging Face的基本使用，通过每一个样例进行实战学习
【大模型微调学习7】-实战Hugging Face PEFT工具
m0_61222152的博客
12-18 1192
实战Hugging Face PEFT 工具
[LLM]Hugging Face 的 Autotrain-Advanced 探索
摩登都市天空---专栏
07-03 1335
AutoTrain Advanced，这是一款无代码工具，专门设计用于让用户无需编写一行代码即可创建、微调和部署自己的 AI 模型。只需上传数据即可训练自定义机器学习模型。AutoTrain 将自动为你的数据找到最佳模型。它不仅可以帮助机器学习工程师，甚至可以帮助非开发人员轻松训练最先进的 ML 模型。只需要简单几步即可快速完成模型的微调、训练、推理和部署。AutoTrain 是一种自动训练和部署最先进的机器学习模型的方法，与 Hugging Face 生态系统无缝集成。
AI开发-三方库-Hugging Face-Pipelines
深度安全实验室
10-13 762
AI开发-三方库-Hugging Face-pipeline
终端侧AI才是生成式AI规模化的未来 | 高通颜辰巍@MEET2024
量子位
12-22 282
编辑部 整理自 MEET2024量子位 | 公众号 QbitAI纵观刚刚过去的MEET 2024智能未来大会，终端侧AI俨然成为其中一大热词。为什么大家都在谈论这一趋势？在大会现场，高通技术公司产品管理高级副总裁颜辰巍归纳了三点原因：一是随着模型参数越来越大、相关应用以及用户越来越多，云计算推理成本和综合成本将急剧增加，将难以支持生成式AI规模化发展。二是数据在哪里，AI推理就应该在哪里进行，这不...
端侧AI体验再颠覆：70亿参数大模型推理提速70%以上！
AidLux的博客
03-01 1687
早在去年，阿加犀就顺利攻破大模型边缘端部署推理技术难关，成为了国内首批支持LLaMA-2、通义千问Qwen等主流开源大模型在边缘端推理的人工智能公司。近日，阿加犀大模型边缘端部署技术再度进化，不仅让大模型边缘端运行速度提升超过70%，而且突破性地支持了中低端芯片平台，为大模型端侧落地的商业革新带来了更多机遇。
未来已来？国内15家AI大模型应用盘点（附体验网址，持续更新）
热门推荐
Code_流苏：在代码中寻诗意，在实践中觅真知
03-21 11万+
未来已来？国内15家AI大模型盘点及体验网址，一起来看看吧！
从服务器端到移动端的转折，On Device AI革命进行时
weixin_34348805的博客
01-03 399
本文由 【AI前线】原创，推荐阅读：t.cn/RHNgd73作者｜王小辉编辑｜EmilyAI 前线导读：”很多年以后，当我们回望 2017 年，会意识到对于移动互联网的发展来说，这一年是一个重要的里程碑。芯片制造商、移动操作系统提供商、深度学习框架社区以及移动应用开发者都开始转向 On Device AI，同时，这个趋势同样惠及于 IoT 产业的 Edge 端设备。本文就从这几个方面来解读一下这个...
Android + AI 端侧智能深度解析：从系统架构到端侧大模型实践
最新发布
2302_80905715的博客
12-21 740
端侧 AI 并不是简单地“给应用加一点智能”，而是一次涉及系统架构、硬件能力和工程实践的深度变革。随着端侧大模型和实时感知能力的成熟，Android 正逐步演变为一个真正意义上的 AI Runtime。系统机制：生命周期、进程管理、硬件抽象层硬件特性：不同芯片的 AI 加速能力、内存架构、功耗特性AI 工程：模型优化、推理引擎、数据流水线设计用户体验：实时性、流畅度、隐私保护的综合平衡这，正清晰地勾勒出 Android 技术进化与生态发展的下一个前沿阵地。
基于高通公司AI Hub Models的On-Device AI学习：Introduction to On-Device AI
阿正的梦工坊
05-22 1843
AI Hub Models of Qualcomm
On-Device AI Weekly #1
ASCE1885
09-29 854
本文首发于微信公众号：On-Device AI，欢迎关注，在这里，我们聚焦于设备上生成式人工智能的最新进展、技术深度解析、应用案例分享及未来趋势展望。
On-Device Neural Net Inference with Mobile GPUs
程永强
11-25 4222
On-Device Neural Net Inference with Mobile GPUs
端侧 AI：向边缘计算的智能转型（双语阅读）
ASCE1885
09-29 2586
人工智能已经从计算机发展到智能手机，每一次飞跃都让我们拥有更智能、更高效的技术。端侧 AI 是这一切进化的幕后推手。但究竟什么是端侧 AI 呢，它为何变得如此重要呢？
如何在AMD GPU上部署Hugging Face模型？
03-20
<think>好的，我现在需要回答用户关于在AMD GPU上部署Hugging Face模型的方法。首先，我得理清用户的具体需求。用户提到了引用资料1到4，这些引用主要涉及vLLM、TGI部署、Hugging Face Accelerate以及OCI的Kubernetes引擎。我需要确保回答覆盖这些方面，并且步骤清晰。 第一步，我应该确认AMD GPU的环境准备。根据引用[1]和[2]，ROCm是必需的，所以需要指导用户安装ROCm驱动和PyTorch的ROCm版本。同时，可能还需要检查硬件兼容性，比如支持的GPU型号，例如MI系列或Radeon系列。 接下来，用户可能需要使用不同的工具进行部署，比如TGI（Text Generation Inference）。引用[3]提到了如何在AMD GPU上使用TGI部署LLM，所以需要详细说明安装步骤，包括Docker的使用和启动命令。这里要确保命令正确，比如指定正确的镜像和参数。 然后，Hugging Face Accelerate也是一个重点，引用[4]提到了在OKE上使用AMD GPU进行Stable Diffusion XL的部署。这部分需要解释如何配置Accelerate的多GPU支持，以及可能涉及的YAML文件调整，适用于Kubernetes环境。 另外，vLLM也是一个高效的推理库，引用[1]和[2]指出其在AMD GPU上的优化。需要说明如何安装vLLM并加载模型，可能还需要示例代码来展示推理过程。 还需要考虑优化策略，比如量化、动态批处理等，这部分引用[2]有提到，可以强调这些方法如何提升性能。此外，监控和维护也是部署后的重要步骤，需要简要提及日志和资源监控工具。 最后，生成相关问题时要覆盖教程、优化、对比不同工具以及微调等方面，确保用户能进一步探索相关主题。 在整理这些步骤时，要确保每个部分都引用正确的来源，比如TGI部署引用[3]，vLLM引用[1][2]，Kubernetes部分引用[4]。同时，保持语言简洁，结构清晰，分点说明，方便用户逐步操作。需要避免技术术语过多，但又要准确，比如正确使用ROCm版本号，确保命令的可执行性。 可能遇到的挑战是不同工具的兼容性，比如TGI对AMD GPU的支持是否有限制，或者ROCm版本与PyTorch的对应关系。因此，在教程中需要明确版本要求，或引导用户查阅官方文档以获取最新信息。 总结来说，回答需要涵盖环境准备、多种部署工具的使用（TGI、vLLM、Accelerate）、优化策略和监控维护，每个步骤附带具体命令和引用，最后生成相关问题帮助用户深入。需要多次检查命令的正确性和引用对应关系，避免错误。</think>以下是在AMD GPU上部署Hugging Face模型的详细方法和教程，整合了ROCm生态系统的最佳实践： ### 一、环境准备 1. **安装ROCm驱动** 需安装与GPU型号匹配的ROCm版本（如5.7），支持MI系列和Radeon Pro系列显卡[^1][^2]： ```bash sudo apt install rocm-hip-sdk ``` 2. **配置PyTorch环境** 安装支持ROCm的PyTorch版本： ```bash pip3 install torch torchvision --index-url https://download.pytorch.org/whl/rocm5.7 ``` 3. **验证硬件识别** 运行`rocm-smi`命令确认GPU识别状态。 --- ### 二、使用Text Generation Inference (TGI) 部署 1. **拉取TGI Docker镜像** 使用AMD优化的镜像： ```bash docker pull ghcr.io/huggingface/text-generation-inference:1.1.0+rocm ``` 2. **启动模型服务** 以Llama 2为例的部署命令： ```bash docker run -p 8080:80 --device=/dev/kfd --device=/dev/dri \ -v $PWD/data:/data \ ghcr.io/huggingface/text-generation-inference:1.1.0+rocm \ --model-id meta-llama/Llama-2-7b-chat-hf \ --quantize bitsandbytes-nf4 \ --max-input-length 4096 ``` 支持`--sharded true`参数实现多GPU并行[^3]。 --- ### 三、通过Hugging Face Accelerate部署 1. **配置多GPU加速** 使用accelerate配置文件： ```python from accelerate import init_empty_weights, load_checkpoint_and_dispatch model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b") model = load_checkpoint_and_dispatch(model, "checkpoints/", device_map="auto") ``` 2. **Kubernetes集群部署** 参考OCI Kubernetes Engine (OKE)配置模板[^4]： ```yaml resources: limits: amd.com/gpu: 4 requests: amd.com/gpu: 4 ``` --- ### 四、vLLM推理优化方案 1. **安装vLLM** ```bash pip install vllm>=0.3.0 ``` 2. **编写推理代码** ```python from vllm import LLM, SamplingParams llm = LLM(model="meta-llama/Llama-2-7b", tensor_parallel_size=4) print(llm.generate(["AI的未来发展方向是"])) ``` 支持动态批处理和持续批处理优化[^2]。 --- ### 五、性能优化策略 1. **量化压缩** 使用8-bit/4-bit量化： ```python model = AutoModelForCausalLM.from_pretrained(..., load_in_4bit=True) ``` 2. **内核优化** 启用FlashAttention和定制MIOpen内核： ```bash export HIP_ENABLE_FP32_ALLOW_CONVERSION=1 ``` --- ### 六、监控与维护 1. 使用`rocprof`进行性能分析 2. 配置Prometheus监控GPU显存使用 3. 日志集成到ELK Stack
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值