
大模型技术
文章平均质量分 88
大模型技术分享
InternLM
这个作者很懒,什么都没留下…
展开
-
强化学习范式OREAL:超越蒸馏,推动轻中量级模型突破推理“三重门”困局
实验结果表明,以Qwen2.5-32B-Base为基座模型,仅通过微调和基于结果反馈的强化学习,在不蒸馏超大模型的情况下,即实现在MATH-500数据集上的SOTA性能。此外,将OREAL应用于DeepSeek-r1-Distill-Qwen-7B后,得到的新模型OREAL-DSR1-Distill-Qwen-7B在MATH-500上取得了94.0的pass@1精度,创下了7B模型的记录。对于32B模型,Oreal-32B在MATH-500上也达到了95.0的分数,实现32B模型的新SOTA。原创 2025-02-19 10:40:02 · 917 阅读 · 0 评论 -
安卓端侧大模型MLC-LLM部署全攻略:以InternLM2.5-1.8B为例
本文来自社区投稿,作者:Tim 算法工程师MLC-LLM 是一个机器学习编译器和高性能大型语言模型部署引擎。该项目的使命是让每个人都能在自己的平台上开发、优化和部署 AI 模型。InternLM 2.5 是上海人工智能实验室发布的新一代大规模语言模型,相比于之前的版本,InternLM 2.5支持百万长文,推理能力开源领先。本文将带大家手把手使用 MLC-LLM 将 InternLM2.5-1.8B-Chat部署到安卓手机上。首先我们来看一下最终的效果~原创 2024-12-25 19:09:16 · 2628 阅读 · 4 评论