Textbooks Are All You Need

最新推荐文章于 2025-06-10 19:55:42 发布
最新推荐文章于 2025-06-10 19:55:42 发布
阅读量348 收藏
点赞数
文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/132847430
版权
LLM 日更 专栏收录该内容
828 篇文章

已下架不支持订阅

本文介绍了一个名为phi-1的代码语言模型，它在小规模和有限数据下，通过使用教科书质量的数据训练，达到了在HumanEval和MBPP等编码基准上的高准确率。尽管存在对风格变化和错误的鲁棒性较弱等局限性，但表明高质量数据对于提升模型性能至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《Textbooks Are All You Need》的翻译。

课本是你全部所需要的

摘要

我们介绍了phi-1，这是一种新的大型代码语言模型，其大小明显小于竞争模型：phi-1是一种基于Transformer的模型，具有1.3B参数，在8个A100上训练了4天，使用了来自网络的“教科书质量”数据（6Btoken）和GPT-3.5（1Btoken）的综合生成教科书和练习。尽管规模很小，但phi-1pass@1HumanEval和MBPP的准确率分别为50.6%和55.5%。与phi-1-base（我们在编码练习数据集上微调阶段之前的模型）和phi-1-small（一个较小的模型，使用与phi-1相同的管道训练350M个参数，在HumanEval上仍达到45%）相比，它还显示出令人惊讶的涌现特性。

1 引言

2 训练细节和高质量数据的重要性

3 对CodeExercise进行微调后的模型能力峰值

4 LLM评分对非常规问题的评价

5 数据修剪用于公正的性能评估

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

Textbooks Are All You Need II: phi-1.5 technical report
c_cpp_csharp的专栏
09-13 397
我们继续调查TinyStories发起的基于Transformer的较小语言模型的威力，TinyStoris是一个1000万参数的模型，可以生成连贯的英语，phi-1是一个13亿参数的模型。后一项工作建议使用现有的大型语言模型（LLM）来生成“教科书质量”的数据，作为与传统网络数据相比增强学习过程的一种方式。
[小语言模型-代码生成]Textbooks Are All You Need II: phi-1.5 technical report
强化学习曾小健
10-30 887
这篇文章的研究背景是近年来大型语言模型（LLMs）在自然语言处理领域的显著进步，特别是像GPT-4这样的最新一代模型展示了前所未有的能力。然而，这些模型的规模也带来了巨大的经济成本和能源消耗问题。
高质量数据is all you need：Textbooks Are All You Need论文笔记
u011426236的博客
04-25 1392
深度学习领域对缩放定律（Scaling Law）的探索导致了现有大语言模型（LLM）性能的迅速提升。本文探索了另一个可以改进的方向：数据的质量。Eldan 和 Li 最近在 TinyStories（一个高质量的合成数据集，用于教导神经网络英语）上的工作表明，高质量数据可以显著改变缩放定律的形态，潜在地使得可以用更精简的训练/模型来达到大规模模型的性能。本文展示了高质量数据甚至可以改进大型语言模型 (LLMs) 的最先进水平，同时大幅减小数据集规模和训练计算。
教科书级数据is All you Need: 1.3B小模型逆袭大模型的秘密
Paper weekly
06-26 245
©作者 |张倩、小舟来源|机器之心吴恩达说的「小数据」有多大威力？这个只有 1.3B 参数量的模型给出了证明。人工智能的三个核心要素是算力、算法和数据，这是大多数人在初识人工智能时都会接触到的一个观点。不过，在深入阐述该观点时，很多材料都倾向于解释数据「大」的一面，毕竟当前的大模型一直在由不断增加的「大数据」来推动，而且这条路似乎还没有走到极限。不过，随着数据获取难度增加以及算力增长出现瓶颈...
Textbooks Are All You Need：小型phi-1模型击败巨人，探索Textbooks之力！1.3B
u013250861的博客
09-23 233
这个现象被称为"scaling laws"（规模定律）。Scaling laws 是指随着计算资源或网络规模的增加，深度学习模型的性能通常会提高，而且这种提高具有某种程度的可预测性。通过增加计算资源或网络规模，研究人员可以获得更大、更复杂的模型，这些模型通常在各种任务上表现更好。这使得深度学习在自然语言处理、计算机视觉、强化学习等领域取得了显著的进展。Scaling laws 的发现促使研究人员不断尝试推动模型规模的极限，以寻找性能的进一步提升。
高质量数据至关重要：phi-1.5论文笔记
u011426236的博客
04-28 1873
本文继续探讨较小语言模型的能力，这一探索由TinyStories（只有10M参数规模，却能够产生连贯英语）开始，本文是对phi-1（仅1.3B参数但Python编码性能接近最先进水平）的后续工作。phi-1提出利用LLM生成“教科书质量”的数据作为增强学习过程的一种方式。本文聚焦于自然语言的常识推理，并创建了一个新的13亿参数的模型，命名为phi-1.5，其在自然语言任务上的性能可与大5倍的模型相媲美，并且在更复杂的推理任务（如小学数学和基本编码）上超过了大多数非前沿的LLM。
深度学习之模型压缩三驾马车：基于ResNet18的模型剪枝实战（2）
ak47maker的博客
06-05 800
本文针对ResNet18模型剪枝进行了优化改进，主要包含三个方面：1) 将剪枝目标层从底层conv1调整为中间层layer2.0.conv1，减少对基础特征的破坏；2) 采用基于激活值的前向传播方法评估通道重要性，优先剪除低激活通道；3) 改进微调策略，动态解冻关联层并使用更低学习率(0.0001)进行10轮微调。这些优化有效提升了剪枝后模型的稳定性和性能表现，特别是通过中间层剪枝和基于特征贡献的通道选择策略，避免了底层特征破坏带来的连锁反应。
yolo模型精度提升策略
qq_47798402的博客
06-09 467
结合起来，才能最大程度地提升那6种相似BGA的区分能力，从而显著提高整体mAP。持续进行基于难例分析的主动学习是突破瓶颈的可持续方法。使用自适应优化器、学习率热身与余弦退火，进行充分长周期的训练（配合早停）。持续收集模型在相似BGA上的错误样本，优先标注并加入训练集进行迭代。设计模拟BGA实际成像挑战（反光、模糊、视角变化）的增强方案。尝试引入注意力机制，将分类损失替换为。训练数据（2倍以上是合理起点）。（Focal Loss）以及。显著增加6种相似BGA的。（特别是注意力机制）、
【python深度学习】Day 45 Tensorboard使用介绍
2203_75479908的博客
06-05 834
之前在神经网络训练中，为了帮助自己理解，借用了很多的组件，比如训练进度条、可视化的loss下降曲线、权重分布图，运行结束后还可以查看单张图的推理效果。tensorboard这个库，集成了以上所有可视化工具。
智能终端与边缘计算
wozaiwurenchu的博客
06-05 1029
Cloudlet的定义和主要特征Cloudlet（微云）概念于2009年首次出现。它是一种成熟的边缘计算系统，旨在将移动计算的“端-云”两层架构转变为**“端-边-云”的三层架构** [对话历史]。Cloudlet通常部署在网络边缘，靠近接入点、基站或汇聚点，甚至可以直接运行在智能网联汽车或无人机上 [对话历史]。主要特征：可信且资源丰富的主机或机群。基于虚拟机技术，为移动终端提供服务。Cloudlet通过将与具体应用相关的数据部分从通用部分中抽离出来，形成VM Overlay与Base VM。
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
最新发布
ZJQ的博客
06-10 278
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
Langchain4j 文档处理（7）
m0_58617940的博客
06-05 1254
来自 langchain4j 模块的文件系统文档加载器（FileSystemDocumentLoader）来自 langchain4j 模块的类路径文档加载器（ClassPathDocumentLoader）来自 langchain4j 模块的网址文档加载器（UrlDocumentLoader）来自 langchain4j-document-loader-amazon-s3 模块的亚马逊 S3 文档加载器（AmazonS3DocumentLoader）
【oobabooga 本地AI模型搭建】
开心就好了啦
06-05 1087
用于大型语言模型的 Gradio Web UI。其目标是成为文本生成的。
OpenAI 即将推出 GPT-5：开启多模态、持续记忆对话新时代
Cha3043445754的博客
06-05 1561
提前学习多模态 AI 的接口设计与调用构建与 AI 协作的开发流程，如 Prompt Engineering + 工具链集成探索 AI 与硬件系统的联动，如边缘端 AI 控制与云协同GPT-5 不是一个模型，而是一种时代的信号。在这个 AI 正悄然重塑世界的时刻，我们既是使用者，也将成为协作者。
简繁体智能翻译软件
weixin_62784879的博客
06-09 298
以常见物品为例：内地称\"创口贴\"，香港称\"胶布\"，台湾称\"OK绷\"；汽车品牌\"奔驰\"在香港译作\"平治\"、台湾译作\"宾士\"，这类词汇差异需要额外认知成本。该工具内置智能词库系统，能自动识别并转换具有地区特色的用词表达，实现内地、香港、台湾三地语言习惯的精准转换。针对台湾地区使用的注音符号（如ㄅㄆㄇㄈ）及网络流行的火星文等特殊文字形式，提供对应的转换方案。这款工具还有许多功能，我就不一一介绍啦。
MCP：解锁 AI 与外部世界的无缝连接
无声旅者的博客
06-06 1008
MCP（Model Context Protocol）是由 Anthropic 公司推出的一种开放标准协议，旨在实现大型语言模型（LLM）与外部数据源和工具的无缝集成。它类似于网络中的 HTTP 协议或邮件中的 SMTP 协议，通过标准化模型与外部资源的交互方式，提升 LLM 应用的功能性、灵活性和可扩展性。MCP 作为一种新兴的开放协议，为 AI 模型与外部工具和数据源的集成提供了一种标准化、简单高效的方式。它具有统一接口、降低集成成本、双向通信、高度扩展性等优势，在多个领域有着广泛的应用前景。
（五）动手学深度学习计算：从数学原理到高效实现的全流程指南
hanyuge的专栏
06-08 597
在实际应用中，我们常常需要自定义层和块来实现特定的功能。PyTorch提供了灵活的API来创建自定义层和块。无参数层：实现不包含可学习参数的层，如激活函数层。return torch.sigmoid(x) # 示例：Sigmoid激活函数含参数层：实现包含可学习参数的层，如自定义的全连接层。组合层：将多个层组合成一个块，实现复杂的功能。return x层是深度学习模型的基本构建块，执行特定的计算任务。块是由多个层组成的模块，提高代码的可读性和可维护性。
职业生涯思考
fuyouzhiyi的博客
06-06 490
这种复杂的感受，我来帮你试着梳理出来。如果你觉得某些句子正好说中了你，就把它留下。
【强化学习】——04Model-Based RL
Piccaboo的博客
06-07 607
一是，算法收敛后的策略在初始状态下的期望回报二是，算法达到收敛结果需要的样本数量基于模型的算法得益于这个环境模型，Agent对真实环境中的样本量的需求往往会减少通常具备较低的样本复杂度，但由于环境模型不可能完全准确，因此其期望回报通常较低之前的Model-Free RL中，Agent只可以与环境进行交互如果环境模型已知，那么Agent可以与模型进行交互，基于模型来规划或决策这个模型的作用在于提供环境状态转移概率和预测生成的奖励，以产生或优化策略MPR状态转移函数Ps′∣sa奖励函数Rs。
如何将网络爬虫数据喂给大模型，以及喂给什么样的大模型
03-11
### 使用网络爬虫数据训练大模型的方法 对于利用网络爬虫获取的数据来训练大型机器学习模型而言，数据的质量控制至关重要。在收集到大量网页内容之后，应当实施一系列措施以优化这些原始资料，使之更适合于后续的学习过程[^1]。 #### 数据清洗与预处理 - **去除噪声**：通过正则表达式或其他技术手段清理HTML标签、JavaScript脚本等非文本成分； - **重复项消除**：采用哈希算法或者基于语义相似性的检测机制识别并移除冗余条目； - **标准化转换**：统一编码格式（如UTF-8），调整大小写敏感度等问题； #### 文档分类与筛选 为了提高信息密度，应该依据特定领域的需求对文档集合进行细分，并优先选用那些富含专业知识的文章作为输入源。例如，“Textbooks are all you need.”的研究表明，高质量的小型数据集能够带来意想不到的效果。 #### 增强表示法构建 考虑到自然语言理解任务的特点，可以考虑引入额外特征向量来辅助表征每个样本单元。这包括但不限于词频统计(TF-IDF)、句法依存关系解析树结构化描述等高级属性提取方式。 针对上述经过严格挑选后的优质素材库，则推荐使用如下几种主流架构来进行建模： - **Transformer-based Models**: 这类框架以其卓越的表现力成为当前最流行的选择之一。它们擅长捕捉长距离依赖模式，并且易于扩展至更大规模的任务场景中。 - **BERT及其变体**: BERT (Bidirectional Encoder Representations from Transformers) 是一种双向编码器表示形式，它允许模型不仅关注前序单词的影响，还能同时感知后继词语带来的上下文关联线索。这种特性使得其特别适用于涉及复杂逻辑推理的情境下。 - **InternLM**: 此外还有像InternLM这样的多语言版本，支持渐进式的功能强化策略——即按照难易程度分批次加入不同类型的知识片段完成迭代更新流程，从而逐步积累起更为全面的理解能力。 ```python from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') inputs = tokenizer("Hello world", return_tensors="pt") outputs = model(**inputs) last_hidden_states = outputs.last_hidden_state ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值