Meta发布Llama 3.2，Llama 终于能看见了！

最新推荐文章于 2025-06-09 09:22:41 发布
最新推荐文章于 2025-06-09 09:22:41 发布
阅读量1.7k 收藏 19
点赞数 28
CC 4.0 BY-SA版权
文章标签： llama 人工智能 产品经理 AIGC prompt langchain
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/z551646/article/details/142556157

Llama家族再添新成员，多模态能力终于到来！

Meta刚刚发布了Llama 3.2模型系列，包括多模态视觉模型和小型文本模型，共计10个开放权重模型。

这次更新不仅带来了期待已久的视觉能力，还为移动设备和边缘计算提供了更多选择。

多模态Llama：视觉能力终于解锁

Llama 3.2 Vision模型终于为Llama家族带来了多模态能力。它提供了两种尺寸：

  • 11B版本：适合在消费级GPU上高效部署和开发

  • 90B版本：适用于大规模应用

90B版本中，其中18B用于新视觉功能。

并且，模型在视觉能力上超越了所有闭源模型。

这两个版本都有基础模型和指令微调变体。除此之外，Meta还发布了支持视觉的Llama Guard 3新版本，可以对模型输入和输出进行分类，包括检测有害的多模态提示或助手回复。

小而强大：1B和3B文本模型登场

Llama 3.2还推出了可在设备上运行的小型文本语言模型，包括1B和3B两种新尺寸，每种都有基础和指令变体。这些模型具有强大的能力：

  • 支持多语言：英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语

  • 长上下文：支持128k token的长上下文

  • 性能出色：3B模型在IFEval基准测试上的表现与8B模型相当

这些小型模型非常适合提示重写、多语言知识检索、摘要任务、工具使用和本地运行的助手等应用场景。

技术细节：模型架构与训练

Llama 3.2 Vision模型的架构基于Llama 3.1 LLM与视觉塔和图像适配器的组合：

  • 11B Vision模型使用Llama 3.1 8B作为文本模型

  • 90B Vision模型使用Llama 3.1 70B作为文本模型

据了解，在训练视觉模型时，文本模型被冻结以保持文本性能。这些模型在包含60亿图像-文本对的大规模数据集上进行了训练。

小型文本模型遵循与Llama 3.1相同的架构，使用高达9万亿token进行训练，同样支持128k token的长上下文。

超强性能

Meta公布的基准测试结果显示，Llama 3.2 Vision模型在多个任务上表现出色：

  • MMMU（验证集）：11B模型达到50.7%，90B模型达到60.3%

  • VQAv2（测试集）：11B模型达到75.2%，90B模型达到78.1%

  • DocVQA（测试集）：11B模型达到88.4%，90B模型达到90.1%

小型文本模型的性能同样令人惊喜。在Open LLM Leaderboard评估中，3B模型在某些任务上甚至接近8B模型的表现。特别是在IFEval基准测试中，3B指令模型与8B指令模型表现相当，这使其非常适合需要严格遵循指令的应用场景。

许可变更：欧盟用户受限

值得注意的是，Llama 3.2的许可条款有一项重要变更：欧盟境内的个人或公司不被授予使用Llama 3.2多模态模型的许可权利。这一限制不适用于最终用户，因此开发者仍可使用这些模型构建面向全球的产品。

生态系统支持：便捷使用与部署

Hugging Face生态系统为Llama 3.2提供了全面支持：

  • 模型权重已上传至Hub

  • Transformers和TGI集成了Vision模型

  • 支持通过Inference Endpoints、Google Cloud、Amazon SageMaker和DELL Enterprise Hub进行推理和部署

  • 提供了在单个GPU上微调Llama 3.2 11B Vision的示例

此外，还可以使用TRL对文本模型进行聊天和微调，Vision模型的微调支持也已添加到TRL中。

Llama家族的重要里程碑

Llama 3.2的发布标志着Meta在大语言模型领域又迈出了重要一步。多模态能力的加入和小型高效模型的推出，为研究人员和开发者提供了更多可能性。

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）
在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

在这里插入图片描述
在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

在这里插入图片描述

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）
img

在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

在这里插入图片描述
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在预算有限的 GPU 上微调 Meta 的 Llama 3.2 1B 和 3B 模型
人工智能领域专家
07-02 690
Meta 在发布 Llama 3.2 Vision 的同时，还推出了全新的 10 亿参数和 30 亿参数模型。这些模型是通过蒸馏 Llama 3.1 80 亿参数模型而创建的，在其规模类别中展现出顶尖性能表现。更重要的是，这些紧凑型模型特别适合 GPU 资源有限的平价配置。例如 30 亿参数模型可装载在 8GB 显存的 GPU 上运行，而 10 亿参数版本仅需 4GB 显存即可部署。其小巧的体积甚至允许用户在 24GB 显存的消费级 GPU 上完成完整微调。
LLaMA 3.2 Vision 实践教程：使用 LLaMA 3.2 Vision ， LLaMA 3.2 Vision 如何集成先进的视觉感知和文本处理，实现强大的图像理解和 AI 驱动的文档分析
iCloudEnd的博客
10-01 1787
人工智能领域正在迅速发展，人们越来越重视多模态人工智能——即模型处理和理解来自多种模态（如文本和图像）的输入的能力。Meta的 LLaMA 3.2 Vision是该领域最新、最先进的创新之一。这个强大的多模态模型集成了语言和视觉，在视觉推理、文档理解和基于图像的创意应用方面提供了前所未有的能力。在本博客中，我们将探索 LLaMA 3.2 Vision 的功能、其独特的架构、性能基准，并引导您完成一个动手教程，以使用该模型执行图像文本任务。
终于！ollama可以调用llama3.2-vision了
wutao22的博客
11-08 1454
从9月24日Meta发布llama3.2以来，已经过了一个半月，虽然在发布的第二天，ollama就可以调用llama3.2-3B模型，但是没有办法使用llama3.2-vision，好在昨天ollama发布了0.4.0版本，正式支持vision版本，所以话不多说，我们来正式体验一下。不知道如何使用ollama的朋友可以参考我之前的文章《只需 1 分钟|拥有本地运行的大型模型|调用大模型的浏览器插件...
llama3.2-vision
木子酱博客
11-13 1154
前两篇文字中使用的减半llama:1b模型进行了代码生成交互。为了适配统一架构，这里测试了之前的Demo在多模态模型上的适用性。考虑到多模态模型是包含纯文本任务的，本文验证了llama3.2-vision模型执行文本对话，以及生成代码等功能。因此，可以基于这一个模型实现多种功能，无需下载多种模型。
Meta Llama 3.2-Vision 多模态大模型技术解析与应用指南
最新发布
gitblog_00455的博客
06-09 414
Meta Llama 3.2-Vision 多模态大模型技术解析与应用指南 模型概述 Llama 3.2-Vision 是Meta推出的多模态大语言模型(LLM)系列，包含11B和90B两种规模的预训练及指令调优版本。该系列模型专为视觉理解任务设计，能够同时处理文本和图像输入，并输出高质量的文本响应。 核心架构 Llama 3.2-Vision基于纯文本模型Llama 3.1构建，采用优化的Tra...
Llama 3.2：开源可定制视觉模型，引领边缘AI革命
m0_59235945的博客
10-09 2358
今天，Meta发布了 Llama 3.2，主要包括小型和中型视觉 LLM（11B 和 90B）以及适合边缘和端侧的轻量级纯文本模型（1B 和 3B），包括预训练和指令调整版本。Llama 3.2 1B 和 3B 模型支持 128K 令牌的上下文长度，在同类产品中处于较领先地位，适用于总结、指令跟踪和在边缘本地运行的重写任务等设备用例。Llama 3.2 11B 和 90B 视觉模型在图像理解任务上的表现优于封闭模型（例如 Claude 3 Haiku）。
大模型LLM | Llama3.2来了！支持多模态！手机也能用！
老皮的博客
09-26 1717
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
Llama 3.2 Vision支持中文，多模态AI和图片推理
2401_85375298的博客
12-11 1854
Llama 3.2 Vision不仅仅是工具，更是通往多模态AI未来的桥梁。凭借尖端的性能、语言多样性和无缝集成，这些模型赋予开发者和企业解锁创新的新水平和能力。
Meta AI 发布 Llama 3.2 多模态AI模型 性能与GPT4o-mini 相当 能够在边缘设备上高效运行
wxl01235的博客
10-13 1171
Meta AI 发布 Llama 3.2多模态AI模型，旨在提供强大的自然语言处理和图像理解能力。其设计目标是提高AI在边缘计算和移动设备上的性能，Llama 3.2包括适用于边缘和移动设备的小型和中型视觉大语言模型（11B 和 90B）以及轻量文本模型（1B 和 3B）。Llama 3.2 系列中最大的两个模型，11B 和 90B，支持图像推理用例，如文档级理解，包括图表和图形的理解、图像说明以及基于自然语言描述的视觉定位任务。
Llama 3.2 使用指南：工作原理及示例
程序员陆通
09-27 1180
Meta AI 宣布发布 Llama 3.2，该版本引入了系列中的首批多模态模型。在本文中，我将梳理要点，重点介绍新的 Llama 3.2 模型的关键方面，包括它们的工作原理、用例、如何访问它们等等。
使用Llama 3.2-Vision多模态LLM与您的图像聊天
m0_56255097的博客
12-10 1188
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
Ollama 更新！手把手教你用Ollama轻松搭建Llama 3.2 Vision + 视觉RAG系统（本地安装）
2301_81888214的博客
02-07 2117
在本文中，我将介绍Ollama最近对Llama 3.2 Vision的支持更新，并分享Llama 3.2 Vision的实测结果。同时，我还将介绍一个视觉RAG系统，展示如何将Llama 3.2 Vision与该系统结合，完成基于视觉RAG检索的任务。
Llama 3.2 它来了～ 主打 VLM+轻量化
xx_nm98的博客
09-26 3086
原文链接：https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/今天，我们发布了Llama 3.2版本，其中包括适用于边缘设备和移动设备的小型和中型视觉LLM（11B和90B），以及适用于轻量级文本模型（1B和3B）。羊驼3.2 1B和3B模型支持128K个令牌的上下文长度，在设备上的使用案例如摘要、指令跟随和本地边缘运行的重写任务方面处于同类产品的领先地位。
llama3.2-vision多模态交互
木子酱博客
11-13 821
llama3.2-vision多模态交互
LLama 3.2 Vision 视觉模型实践教程之Llama3.2 Vission 已在 Ollama 上线：Meta 的多模态 AI 用于文本和图像处理 — 现在可在本地或 Colab 上使用图像
iCloudEnd的博客
11-08 662
人工智能领域发展迅速，最近的创新不断突破模型所能实现的界限。其中最令人兴奋的进步是多模态人工智能，它使模型能够处理和理解来自各种模态的输入，例如文本、图像甚至音频。该领域最具突破性的模型之一是 Meta 的LLaMA 3.2 Vision。这个强大的多模态模型集成了语言和视觉推理能力，使其成为视觉问答、文档分析和创意应用等复杂人工智能任务的领先解决方案。在本综合指南中，我们将深入探讨 LLaMA 3.2 Vision 的架构、主要功能和基准，并提供Ollama的动手教程来帮助您入门。
Llama 3.2——同时具备文本和图像处理功能的开源模型
知来者逆的博客
09-29 1703
Llama 3.2 是 Meta 的 Llama 系列的最新版本，包含各种语言模型，旨在满足各种需求。最大和中等规模的模型包括 90 亿和 11 亿个参数，旨在处理包括文本和图像在内的多模态数据。这些模型可以有效地解释图表、图形和其他形式的视觉数据，使其适合在计算机视觉、文档分析和增强现实工具等领域构建应用程序。轻量级模型具有 1 亿和 3 亿个参数，专门用于移动设备。
【AI大模型】Llama 3.2 Vision支持中文，多模态AI和图片推理
Gaga246的博客
12-09 1833
AI正在迅速发展，多模态模型，即那些能够解释和生成多种格式数据的模型，正在成为创新的核心。Llama 3.2 Vision 是AI领域的突破性成果，它在图像推理、视觉识别、标题生成和基于图像的问答等方面带来了无与伦比的能力。Llama 3.2 Vision拥有两个版本，11B和90B参数。
Llama 3.2：AI视觉革新，手机也能跑大模型
2401_85373898的博客
09-26 1353
Meta最新发布的Llama 3.2不仅能"看"，还能在你的手机上运行。这次更新带来了多模态支持的Llama Vision和专为设备端优化的"tiny"模型，共推出10个新模型，规模从1B纯文本到90B多模态（文本+图像）不等。Llama 3.2的核心亮点：1.Llama 3.2 Vision：推出11B和90B两种规模的多模态模型，支持文本+图像输入并生成文本输出。这些模型基于Llama 3.1文本模型，通过6B图像-文本对训练而成。
一文了解：最新版本 Llama 3.2
qianggezhishen的专栏
09-28 3229
用户可以直接在设备上对大量文本进行摘要，比如电子邮件或会议记录，不需要依赖云服务。
llama3.2
03-08
### Llama 3.2 介绍 Llama 3.2 是由 Meta 发布的一个强大语言模型系列中的最新成员，旨在优化于边缘计算和移动设备上的性能。该版本特别针对智能手机和平板电脑进行了调整，提供了两种不同规模的轻量级模型——拥有10亿参数和30亿参数的变体[^1]。 ### 特性概述 - **高效的移动端适配**：为了适应资源受限环境下的高性能需求，Llama 3.2 被精心设计成可以在不牺牲太多精度的情况下，在小型设备上快速响应查询。 - **多模态处理能力**：除了传统的文本输入外，Llama 3.2 还引入了新的图像理解功能，允许其解析视觉数据并与之交互，从而扩展了应用场景的可能性[^2]。 - **灵活度高**：虽然缺乏某些预置的功能模块，但这使得开发者可以根据具体项目的需求自由定制附加组件和服务接口，如用户配置文件管理、在线搜索集成或是基于检索增强生成的技术实现等[^3]。 ### 获取与安装说明 对于希望尝试这一先进工具的人来说，可以通过 Hugging Face 平台下载官方发布的 Llama 3.2 权重文件来获得使用权。此外，建议准备一个 Google Colab 帐号用于后续可能涉及到云端运算的任务；如果想要进一步探索 Android 应用开发，则需拥有一部能够满足最低硬件规格要求的安卓手机作为测试平台。 ### 使用教程概览 #### 设置环境 确保已准备好必要的软件依赖项之后，按照文档指示完成 Python 和其他所需命令行工具的基础搭建工作。接着，利用 MLC LLM 库来进行下一步操作前的各项准备工作，包括但不限于量化过程、格式转换等措施以确保最终产物能在目标平台上顺利执行。 #### 编译与部署流程 一旦完成了上述步骤，就可以着手编写适用于特定终端类型的代码片段，并将其编入相应的应用程序框架内。例如，在面向 Android 设备时，应遵循标准的 Gradle 构建方法论，同时注意融入所选 AI 模型的核心逻辑部分。最后一步则是打包成品APK包并通过常规渠道分发给潜在使用者群体体验。 ```python import torch from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-3b") # 加载 tokenizer model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-3b").to('cuda') # 将模型加载至 GPU 上运行 input_text = "你好世界" inputs = tokenizer(input_text, return_tensors="pt").to('cuda') outputs = model.generate(**inputs) print(tokenizer.decode(outputs[0], skip_special_tokens=True)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值