今天,人在腾讯混元发布会的现场。
我就眼看着腾讯他们风尘仆仆的从深圳奔赴北京,开了一场非常私密的闭门发布会。
而整场的核心,就是一个词:
开源。
而且不藏着掖着,直接开源了他们最好的模型,分别是MoE模型“混元Large”、混元3D大模型“ Hunyuan3D-1.0”。
现在,这些模型已经全面上线huggingface了,可以直接下载。
还有一个即将开源的长文本评测数据集“企鹅卷轴”。
我一个一个说。
一. 混元Large
可能是如今,开源出来的,参数最大、效果最好的MoE模型。
总参数量389B,激活参数量52B,上下文长度高达256K。实用性拉满。
要知道,这是MoE,训练起来本身就很麻烦,变量无数,混元能做到这么大,还能开源出来,这事本身就挺值得鼓励的。
在数据集的跑分上,效果也很好。
在几个维度上,基本全面领先。
可能混元Large有些东西你看着有点懵逼,这里我正好借这个机会,简单科普一下啥是MoE。
打个比方,模型就是一个巨大的医院,我们每次对话,就像到医院里面去看病。
正常训练的大模型呢,比如Llama3.1,我们就把它称为第一羊驼医院吧,外面人说这个医院很牛逼,包治百病,但是这个医院里面有个特点。
就是你进去,你会发现只有一个医生坐在那接待。
这个医生是个神医,精通所有科室,牛逼到起飞,能解一切疑难杂症,每个病人来了他都能准确的给你回答。
这个第一羊驼医院的这个医生牛逼是牛逼,但是问题来了,每个病人这个神医都要接待啊,就他一人,压力太大太大了,效率也不咋地。
那MoE的大模型呢,比如混元Large,我们就把它称为混元人民医院吧。这个医院同样的,名气很不错,包治百病。
但是当你走进去,这个医院跟第一羊驼医院就呈现出了完全不同的面貌,你第一眼看到的是导诊台。你先要去导诊台挂号,然后它会告诉你去哪个科室看病。
这就是MoE的特点,它的全称是混合专家模型,拥有路由和专家这个独特的机制。
当病人来到医院时(输入一个问题):导诊台先判断病人的情况(路由器决定),然后把病人转给最合适的专科医生(选择合适的专家),只有需要的医生会出诊(只激活需要的参数)。
所以,才会有了混元Large的两个参数,总参数量389B,激活参数量52B。也就是这个医院虽然总医生数量有389个那么多,但是其实每次真正看病的医生,只需要52个,就能解决一切问题。
这个结果,其实就能看出来MoE的优势了,就是方便、快捷、推理成本低。
毕竟Llama3.1 405B那种怪兽,上来就是几百个G起步,这尼玛谁能用的起啊。
而现在,混元Large,就是开源中,参数最大、性能最好的MoE模型了。
模型网址在此:https://github.com/Tencent/Hunyuan-Large
二. Hunyuan3D-1.0
开源出来的AI 3D大模型,还真的是非常稀缺的。
在我印像中,上一次AI 3D开源有动静,还是TripoAI和StabilityAI联合开源的项目TripoSR,还有StabilityAI自己搞的那个SV3D。
但是这也都是6、7个月前的事了,然后就再无动静。
而这次,腾讯混元终于补上了这块的空白,宣布了他们的AI 3D大模型“ Hunyuan3D-1.0”,开源!
我爱腾讯,我爱混元。
Hunyuan3D-1.0支持文生3D和图生3D,这次开源的版本是两个,一个标准版一个轻量版,轻量版10s就能直接生成一个3D模型。
我大概部署了一下,跑了跑看了下效果。
不吹不黑,这是非常客观且真实的效果。
坦率的讲,离我心中最好的闭源3D大模型TripoAI,肯定还有一些距离,包括但不限于模型质量(特别图生3D时候的背面)、贴图质量、脸部精细度等等。
但是,如果你不跟最好的TripoAI比,而是跟市面上其他的AI 3D比,那Hunyuan3D-1.0大概可以排在T1.5梯队附近。
但是如果你在开源领域比,那不好意思,Hunyuan3D-1.0就是真正的T0,最屌的,没有之一。
而且AI 3D模型,开源后,可以想象的场景就太多了。
比如微调某一个游戏的AI 3D模型,比如微调一个科幻电影中的AI 3D模型,来进行一个在建模层面,定制化的全面的降本增效。
去年这个时间点,我就写过:
“我极度看好AI 3D,并不是因为这个领域新,而是这玩意真的能切切实实解放内容创作者们的生产力,让他们用更多的精力,花在创作上,保护这些创作者的创作精力。”
AI 3D对于创作者的意义,就是如此。
我在现场,腾讯混元还送了一个有趣的小玩具,是他们用这个3D大模型3D打印的小手办,还送了一盒丙烯颜料,可以让我们自己DIY,贼好玩。
希望腾讯这个开源的Hunyuan3D-1.0,能给这个AI 3D的模态,带来一些,不一样的火花。
网址在此:https://github.com/Tencent/Hunyuan3D-1
三. 企鹅卷轴
一个超级有趣的项目。
之前其实主流的评测集有很多了,有MATH这种专门评测数学的,有MMLU这种这种评测各种知识的,但是在长文本的评测上,一直没有一个明确的评测数据集。
大家都在说自己200K、300K、甚至一个亿,但是只字不提自己在长文本上的准确定性。
之前有一个去年11月火起来的大海捞针测试,用来评测长文本的衰减,但是其实也偏民间,在真正评测长文本的能力上,其实还是有点以偏概全。
而这次,混元马上要开源一个关于长文的评测集,命名也挺好玩的,叫“企鹅卷轴”。有一股子游戏道具的感觉。。。
这个我觉得还挺有趣的。
马上就会开源出来,后续我可能会基于这个评测集,来对市面上的这些长文本大模型,来做一个评测。
看看这些大模型的长文本能力,究竟如何。
写在最后
对于每一个愿意开源,让社会、让开源社区,百尺竿头更进一步的公司。
我都永远报以最崇高的敬意,和最大的善意。
穷则独善其身,达则兼济天下。
上一次,腾讯开源了混元DiT,让AI绘图这个领域,有了另一种全新的可能。
而这一次,混元Large、 Hunyuan3D-1.0,算是补上国内开源社区的一大空缺。
一个腾讯混元,一个智谱。
真是国内,最有趣的两家AI公司。
不断为着这开源社区,贡献自己的力量。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。