我们严重低估了MiniMax;扎克伯格站在了奥特曼的对面;欧洲最强大模型的天才创始人;Notion AI在LLM来临时快速转身奔跑 | ShowMeAI

👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦!




1. MiniMax 创始人闫俊杰:我选的技术路线是上限最高的,几乎没有退路,选的算力方式也激进


🔔 话题关键词

  • AGI① 如何判断是否真正信仰 AGI;② 如何判断 AGI 真的到来了;③ MiniMax 核心信仰;④ 组织创新;⑤ 公司文化。

  • 技术:① MoE 是一场技术豪赌;② Scaling Law 与中国大模型破局;③ 长文本能力 VS 多模态能力;④ GPU 不买只租;⑤ 技术团队的管理心得。

  • 产品① MiniMax 是国内第一家AI 2C公司② 大模型创业公司必须技术和产品同时做③ ChatGPT、Sora与AI原生应用特质


🔔 补充一些前置信息

  1. MiniMax 成立于 2021 年 12 月,是中国大模型创业公司中做产品最早、最多,投入也最大的一家,我们所熟知的 Glow、星野、海螺 AI 都来自这家公司。

  2. MiniMax 近期刚完成 B 轮融资,成为了中国估值最高的大模型公司之一。

  3. 创始人 闫俊杰 今年35岁,担任过商汤副总裁、研究院副院长和智慧城市事业群 CTO。更早前,他在中科院和清华大学研究计算机视觉。

  4. 闫俊杰太低调了,从未公开露面,没有接受过任何采访。低调的 MiniMax 和沉默的闫俊杰在这篇访谈里锋芒毕露或许,有些赞誉和目光,其实本该属于 MiniMax 👑


🔔 AGI 信仰

  1. 判断一位人工智能创业者是否真正的 AGI 信仰,就看这个人创业是在 ChatGPT 发布 (2022年11月30日) 之前还是之后。MiniMax 创立于 2021 底,那时 AGI 在中国还是一个巨大的非共识。

  2. 当大家认为 AI 不是 AI的时候,AGI大概就到来了。就像我们今天觉得「抖音就是抖音」,不会觉得它是一个基于推荐系统的内容分发软件。


  1. 大成的公司都做了组织创新,让它们能持续做出越来越强的东西。MiniMax 要做一个成长型组织,聚拢基本素质足够优秀的人一起突破,弥补缺乏顶级 LLM 天才的短板。(大模型领域贡献前20,甚至前 50 的人,没有一个人在中国公司工作)

  2. 自己疯狂的融钱让别人都会融不到钱,这是不对的。靠融资是打不死其他人的。拐点只可能来自于技术、产品或者是商业化效率的领先。

  3. 公司文化:第一是不走捷径;第二个是 User-in-the-Loop;第三是技术驱动。

  4. MiniMax 核心信仰:Intelligence with everyone。用最好的技术服务每一个人,与用户一起迭代成长,以及看到比想象得更快的技术进步速度。


🔔 技术路径

  1. MoE 是一场技术豪赌。2023年夏天开始研发,2024年1月正式推出国内第一个 MoE 大模型。期间经历了两次失败。

  2. 当时放了 80 % 以上的算力和研发资源做 MoE,而且没有 Plan B。一是因为在计算资源有限的情况下,只有 MoE 能训练完当时的数据;二是因为传统 dense 模型生成 token 的成本太高,延时太严重。

  3. 大模型还没热起来时,MiniMax 曾以相对便宜的价格找字节火山引擎租了大量 GPU 算力,获取了弹药;但 MiniMax 又不购买任何 GPU,闫俊杰认为持有资产只会使动作变形


  1. 现在有三个共识:Scaling Laws,同样精度的模型成本随着时间大幅下降,数据质量提升的重要性。并由此可以推出来大模型创业公司的决策方向。

  2. Scaling Laws 第一是提供了一个方法论:即可以通过更小规模的实验来预测更大实验的结果。第二是它能让数据、算力、芯片、算法、产品等多个环节有相对一致的预期。

  3. 为什么在中国一定要做几倍的 Scaling Laws因为算力不充足时,必须优化一个几倍的 Scaling Laws 去达到相似效果。Anthropic 用更短时间做出了类似 GPT-4 的 Claude-3,证明这个方法是可行的。


  1. 好的大模型应该默认支持长文本。长文本依赖线性attention技术,其计算复杂度优势在80~100万 token 时才特别明显。所以,长文本解决的是 100 万以上的量级

  2. MiniMax 在产品中更强调多模态能力,是因为多模态可以显著吸引到更多用户。在产品里加上图片和语音,就可以明显看到渗透率的

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值