Kimi k1.5:继Deepseek R1 后多模态 AI 的新标杆

Kimi 访问地址: https://kimi.moonshot.cn/

图片

在人工智能领域,Kimi k1.5 的发布无疑是一颗璀璨的新星,它以卓越的性能和创新的技术,重新定义了多模态大型语言模型(LLM)的标杆。

一、Kimi k1.5 是什么?

Kimi k1.5 是由 MoonShot AI 研发的最新多模态大型语言模型,它运用了强化学习(RL)技术进行训练,旨在文本、视觉和编码等多个领域的各类推理任务中展现卓越性能。

二、Kimi k1.5 的核心亮点

(一)强化学习(RL)训练

Kimi k1.5 借助强化学习来提升推理能力。与传统依赖静态数据集的模型不同,它能够在探索过程中从奖励机制里学习新知识。通过长上下文扩展和改进的策略优化方法,Kimi k1.5 建立了一个简单而有效的强化学习框架,无需依赖复杂的技术,如蒙特卡洛树搜索、价值函数和过程奖励模型。

(二)长上下文扩展

Kimi k1.5 将强化学习中的上下文窗口扩展到 128k,随着上下文长度的增加,模型的性能持续提升。这是通过使用部分轨迹(partial rollouts)来提高训练效率实现的,即通过重用之前轨迹的大块内容来生成新的轨迹,避免从头开始重新生成新轨迹的成本。

(三)改进的策略优化

Kimi k1.5 采用基于长推理链(long-CoT)的强化学习公式,并使用在线镜像下降算法(online mirror descent)的变体进行稳健的策略优化。此外,还通过有效的采样策略、长度惩罚

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mcusun2000

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值