理想汽车于 4 月 18 日宣布 MindGPT 3.0 正式上线,模型能力全面升级,在理想同学手机 App 及网页版均可免费使用。其最大亮点是支持深度思考,性能对标 DeepSeek-V3-0324(短思维链)及 DeepSeek-R1(长思维链)。以下是 MindGPT 3.0 的一些主要特性:
- 结构化思维链:能让用户一眼看懂理想同学的思考过程,还支持反思再检索能力,以提供更准确的答案,并且对语音输入有更准确的理解能力和容错能力。
- 准确理解需求:当指令不明确时,会主动发起询问,使需求更准确。
- 任务规划升级:支持深度思考,能更好地执行复杂问答指令。
- 工具生态升级:提供更实时的股票、票务等信息,连续对话效果也得到提升。
- 过滤无关信息:加入无关历史对话过滤功能,能够对历史对话进行反思,自主过滤与当前用户问题无关的信息,有效保证了回复的正确率。
DeepSeek 是 2023 年成立的创新型科技公司,专注于开发先进的大语言模型和相关技术。其在 2025 年 1 月 20 日正式发布的 DeepSeek - R1 模型,在性能上比肩 OpenAI o1 正式版。DeepSeek 采用了混合专家模型(MoE)和多头潜注意力(MLA)等先进技术,这使得它在处理复杂任务时表现出色。而 MindGPT 3.0 的上线,表明理想同学在深度思考能力方面有了很大的提升,能够为用户提供更优质的服务和更准确的回答。
理想汽车的 MindGPT 3.0 模型采用了自研的 TaskFormer 神经网络架构,基于用车、娱乐、出行等场景,使用 SFT(监督式微调)、RLHF(基于人类反馈的强化学习)等技术进行训练。具体如下:
- 基座模型训练:使用自研的 Taskformer 结构,在训练中进行充分的自监督学习,学习世界知识,同时在车载场景的 15 个重点领域进行知识加强,使模型具备了理解、生成、知识记忆和推理的能力。
- 有监督的微调(SFT):利用大量的车载场景相关数据,包括用车、娱乐、出行等方面的文本数据,对基座模型进行有监督的微调。这些数据被标注了正确的输出或行为,模型通过学习这些标注数据,能够更好地适应具体的任务和场景,提高在实际应用中的准确性和性能。
- 基于人类反馈的强化学习(RLHF):通过人类的反馈来进一步优化模型。例如,当模型生成的回答或建议不符合预期时,人类可以提供纠正或反馈信息,模型根据这些反馈进行学习和调整,以生成更符合人类期望的结果,不断提升模型的性能和用户体验。
- 多模态数据融合:MindGPT 3.0 的训练数据涵盖了语音、视觉、文本等多模态数据。通过融合这些不同模态的数据,模型能够更好地理解和处理各种类型的信息,实现更自然、更智能的交互。例如,结合语音和视觉信息,模型可以更好地理解用户的指令和意图,提供更准确的回答和服务。
- 持续优化与迭代:研发团队建设了围绕车载场景的大模型评估体系以及内部的定期实车走查制度,以接近用户场景、可量化的目标设定推动模型快速迭代。此外,模型还具备在线强化学习能力,能够基于用户的反馈和纠偏,不断迭代自身的能力,让理想同学越用越好用。
为了支撑 MindGPT 3.0 的训练,理想汽车自研了 TB 级吞吐的大数据系统 LiARK,以支持千亿级参数大规模的训练系统 LiPTM2。同时,采用了 4D 并行训练模式,包括数据并行、TCL 并行、流水线并行和序列并行,以提高训练速度和效率。
1200

被折叠的 条评论
为什么被折叠?



