还是讲虎鲸，不过是迭代了
1 2 3上链接......
2311.11045.pdf (arxiv.org)
11月18号新出的论文，不同于Orca1，Orca2的论文著作这里有中国兄弟介入了，感觉Orca1好像都是3哥，3哥水论文的速度是真的快...
先说一下我对这篇论文的感受，其实没多有特别大的变革，比起Llama到Llama2的变更还是小的（光是GQA这一项就挺颠覆的）
文章开头照例给他们团队做了一个广告，众所周知的刷榜环节
用一个常见的问题来直观感受一下几个模型回答问题的区别
Orca 虎鲸1号余波未平 ，虎鲸2号一波又起
Orca2作为Orca系列的最新进展，引入了模仿学习来弥补小模型在涌现能力上的不足。通过Explanation Tuning，它避免了指令精调的潜在错误，强调学习大模型的思考过程而非仅关注结果。此外，Cautious Reasoner使得Orca2成为更逻辑严谨的LLM。Prompt Erasing这一策略提升了模型的训练难度和鲁棒性，使其在没有system instruction的情况下也能推断出生成响应的前置条件。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
