最新大模型：香港多所高校推出多模态大模型Lyra！IBM发布Granite3.1模型！

1

SnapGen：极小、快速的高分辨率“文生图”模型

• _论文链接：_https://arxiv.org/abs/2412.09619

• _项目地址：_https://snap-research.github.io/snapgen/

现有的文本到图像（T2I）扩散模型面临几个限制，包括模型规模大、运行速度慢以及在移动设备上生成的图像质量低。

来自 Snap 的研究团队及其合作者旨在通过开发一种极小且快速的 T2I 模型——SnapGen，在移动平台上生成高分辨率和高质量的图像，从而应对所有这些挑战。

为实现这一目标，他们提出了几种技术。

1. 网络架构优化：SnapGen 通过系统地检查网络架构的设计选择，减少了模型参数和延迟，同时确保高质量的生成。具体来说，模型采用了高效的架构设计，使得其在移动设备上能够快速运行‌。

2. 知识蒸馏‌：为了进一步提高生成质量，SnapGen 从更大的模型中采用跨架构知识蒸馏，使用多层次方法从头开始指导模型的训练。这种技术帮助模型在较小的规模下达到较高的生成质量‌。

3. 对抗性指导‌：通过将对抗性指导与知识蒸馏相结合，SnapGen 实现了几步生成，进一步提升了生成图像的质量和速度‌。

SnapGen 性能表现：

• 生成速度‌：SnapGen 在移动设备上生成 1024x1024 px 图像的时间仅为 1.4 秒，显著提升了生成速度‌。

• 基准测试：在 ImageNet-1K 上，SnapGen 只需 372M 参数就能生成 256x256 px 的图像，FID 达到 2.06。在 T2I 基准（即 GenEval 和 DPG-Bench）上，SnapGen 仅有 379M 个参数，以明显更小的规模（例如，比 SDXL 小 7 倍，比 IF-XL 小 14 倍）超越了拥有数十亿个参数的大模型。

SnapGen 的极小尺寸和快速生成能力使其非常适合在移动设备上应用，可以用于各种需要高分辨率图像生成的场景，如图像编辑、视频创建等。

2

Lyra：高效、全认知多模态大语言模型

• _论文链接：_https://arxiv.org/abs/2412.09501

• _项目地址：_https://lyra-omni.github.io/

来自香港中文大学、思谋科技和香港科技大学的研究团队推出的 Lyra 是一种高效的多模态大型语言模型（MLLM），可增强多模态能力，包括高级长语音理解、声音理解、跨模态效率和无缝语音交互。

Lyra 专注于提升语音、视觉和语言模态的交互能力，包含 3B、9B、74B 三个版本。

为了实现高效和以语音为中心的能力，Lyra 采用了三种策略：

• （1）利用现有的开源大模型和建议的多模态 LoRA 来降低训练成本和数据要求；

• （2）使用潜在多模态正则化器和提取器来加强语音和其他模态之间的关系，从而提高模型性能；

• （3）构建一个高质量、广泛的数据集，其中包括 1.5M 多模态（语言、视觉、音频）数据样本和 12K 长语音样本，使 Lyra 能够处理复杂的长语音输入，实现更鲁棒的全方位认知。

与其他全方位方法相比，Lyra 在各种视觉-语言、视觉-语音和语音-语言基准测试中取得了 SOTA 的性能，同时还使用了更少的计算资源和训练数据。

3

IBM升级Granite 3.1，超越Gemma2！

IBM 正式发布了其新一代开源大语言模型 Granite 3.1，这是一组轻量级、先进的开源基础模型，支持多语言、代码生成、推理和工具使用，能够在有限的计算资源上运行。这一系列模型具备 128K 的扩展上下文长度、嵌入模型、内置的幻觉检测功能以及性能的显著提升。

Granite 3.1 有 4 种不同的尺寸和 2 种架构：

• 密集模型：2B 和 8B 参数模型，总共使用 12 万亿个token进行训练。

• 专家混合MoE模型：稀疏 1B 和 3B MoE 模型，分别具有 400M 和 800M 激活参数，总共使用 10 万亿个token进行训练。

Granite 3.1 8B 和 2B 具有一项新功能，即调用幻觉检测功能，从而增强了对进行工具调用的代理的控制和可观察性。

与生成模型一样，Granite 3.1 提供12 种不同语言的多语言支持：英语、德语、西班牙语、法语、日语、葡萄牙语、阿拉伯语、捷克语、意大利语、韩语、荷兰语和中文。

IBM 声称，Granite 3.1 8B Instruct 模型在相同规模的开源竞争对手中表现最佳，包括 Meta 的 Llama3.1、Qwen2.5 和谷歌的 Gemma2。

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

优快云粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉优快云大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

优快云粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉优快云大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）