Textbooks Are All You Need II: phi-1.5 technical report

828 篇文章

已下架不支持订阅

本文介绍了phi-1.5,一个13亿参数的语言模型,通过在高质量教科书数据上训练,展现出与更大模型相当甚至在推理任务上超越的性能。该模型在自然语言任务和复杂推理任务上表现出色,同时开源以促进对LLM的研究,关注数据质量和偏见缓解问题。尽管存在幻觉和毒性问题,phi-1.5的成果暗示了更高效人工智能的可能性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

本文是LLM系列文章,针对《Textbooks Are All You Need II: phi-1.5 technical report》的翻译。

摘要

我们继续调查TinyStories发起的基于Transformer的较小语言模型的威力,TinyStoris是一个1000万参数的模型,可以生成连贯的英语,phi-1是一个13亿参数的模型。后一项工作建议使用现有的大型语言模型(LLM)来生成“教科书质量”的数据,作为与传统网络数据相比增强学习过程的一种方式。我们遵循“教科书就是你所需要的一切”的方法,这次重点关注自然语言中的常识推理,并创建了一个名为phi-1.5的13亿参数的新模型,在自然语言任务上的性能可与5倍大的模型相媲美,在更复杂的推理任务(如小学数学和基本编码)上超过了大多数非前沿LLM。更普遍地说,phi-1.5表现出了大得多的LLM的许多特征,既有好的——比如“一步一步思考”或进行一些基本的上下文学习的能力——也有坏的,包括幻觉和潜在的有毒和有偏见的世代——尽管令人鼓舞的是,由于缺乏网络数据,我们看到了这方面的改进。我们开源了phi-1.5,以促进对这些紧迫主题的进一步研究。

1 引言

2 技术规范

3 基准结果

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值