Re52：读论文 How Much Knowledge Can You Pack Into the Parameters of a Language Model?

最新推荐文章于 2025-03-06 10:53:35 发布
原创 最新推荐文章于 2025-03-06 10:53:35 发布 · 257 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语言模型 #人工智能 #自然语言处理

2020年EMNLP论文探讨了如何通过无上下文的QA任务评估T5语言模型中的知识含量。实验结果显示T5在该任务中表现出色，但存在部分似是而非的答案。论文详细介绍了预训练和微调过程，以及未来研究方向。
部署运行你感兴趣的模型镜像

诸神缄默不语-个人优快云博文目录
诸神缄默不语的论文阅读笔记和分类

论文名称：How Much Knowledge Can You Pack Into the Parameters of a Language Model?

ArXiv网址：https://arxiv.org/abs/2002.08910

代码和模型权重：https://github.com/google-research/google-research/tree/master/t5_closed_book_qa

本文是2020年EMNLP论文，作者来自谷歌。

本文通过无上下文/外部知识的QA任务来度量LM中储存的知识信息。实验结果证明LM的表现非常好。
（但是这个T5也经过了各种疯狂微调捏）

预训练模型：T5（包括T5.1.1）
继续预训练：Salient Span Masking (SSM)
在度量知识的下游任务上微调：QA（用text2text的T5直接回答，不太需要考虑具体的回答格式）
在这里插入图片描述
解码方案是贪心算法

注意本文实验用的QA数据不在T5预训练数据中

主实验结果：
在这里插入图片描述

有些回答说起来也算答对了，但是不完全跟标准答案一样的FP情况：
在这里插入图片描述

这篇paper的未来展望部分写得非常细致，附录里面也写了很多详细的其它尝试工作，很敬业了。

您可能感兴趣的与本文相关的镜像

Qwen3-VL-30B

Qwen3-VL-30B

图文对话
Qwen3-VL

Qwen3-VL是迄今为止 Qwen 系列中最强大的视觉-语言模型，这一代在各个方面都进行了全面升级：更优秀的文本理解和生成、更深入的视觉感知和推理、扩展的上下文长度、增强的空间和视频动态理解能力，以及更强的代理交互能力

最好给“索尔”打电话：流畅且一致的语言模型编辑之道
步子哥的博客
10-06 901
通过生成正则化和数据增强的结合，它不仅能够有效更新模型中的知识，还能确保生成内容的流畅性和自然性。与当前流行的定位-编辑方法相比，SAUL以更低的计算开销和更高的生成质量，提供了一种更为优雅的解决方案。我们在三个模型编辑基准上对SAUL进行了评估，结果表明，SAUL不仅在模型编辑性能上超越了现有的最先进方法，还有效保持了生成质量，降低了计算开销。通过本文的探讨，我们希望能激发更多对模型编辑领域的研究与实践，以便在这个知识爆炸的时代，确保我们的语言模型始终能提供准确、可靠的信息。
在 GPT 中查找和编辑 事实关联
强化学习曾小健
08-11 540
语言模型中的事实在哪里？不同：死记硬背说出单词与了解事实不同，因为对事实的了解可以跨上下文进行概括。在这个项目中，我们展示了 GPT 中的事实知识。例如，我们可以对 GPT-J 的一小部分权重进行小的更改，以教导它反事实的“埃菲尔铁塔位于罗马市”。它将概括特定的反事实知识并将其应用到非常不同的语言环境中，而不是仅仅重复新句子。为什么要查找事实？我们对模型以及大型语言模型的内部计算是模糊的。澄清事实的处理是理解大规模变压器网络的第一步。
论文导读 | 使用预训练语言模型作为知识库的可能性
weixin_48167662的博客
03-18 1709
引言 近年来，预训练语言模型在NLP领域展现出了强大的能力而被广泛采用，成为了解决NLP问题的“银弹”。借助大规模数据集、以Transformer为代表的深度神经网络模型、以及设计好的自监督预训练（pre-train）任务，预训练语言模型展现出了强大的泛化能力，经过微调（fine-tune）后在各个下游任务中得到了优秀的成果，其强大性能让人对其学习到的内容产生了兴趣：预训练语言模型是否真的在预训练过程中学习到了“知识”呢？ 最近也有工作提出了prompt范式，通过构建的prompt语句，将特定的下游
（2025|AIRI，LoRA 知识集成）在 LoRA 中可装入多少知识而不损害 LLM？
最新发布
qq_44681809的博客
03-06 1075
本文进行 LoRA 微调，并控制新知识的数量，研究如何平衡新知识的引入与模型整体能力的保持。研究发现，混合已知与新知识的数据可获得最佳结果，但仍会导致模型在外部问答基准测试上的性能下降。
AMiner 会议论文推荐第九期
AI_Conf的博客
10-27 3133
AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 IJCAI 2020 论文推荐 SVRG for Policy Evaluation with Fewer Gradient Evalu.
EMNLP2020 | Language Model精选论文解读
AI_Conf的博客
11-03 3051
AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 AMiner平台：https://www.aminer.cn 导语：EMNLP，自然语言处理经验方法会议（Conference on Em.
诸神缄默不语的论文阅读笔记和分类
诸神缄默不语的博客
06-27 1135
诸神缄默不语的论文阅读笔记和分类：作者论文阅读笔记的目录或索引
2020年NLP所有领域最新、经典、顶会、必读论文
lqfarmer的博客
05-23 5370
本资源整理了近几年，自然语言处理领域各大AI相关的顶会中，一些经典、最新、必读的论文，涉及NLP领域相关的，Bert模型、Transformer模型、迁移学习、文本摘要、情感分析、问答、机器翻译、文本生成、质量评估、纠错(多任务、masking策略等。)、Probe、多语言、领域相关、多模态、模型压缩、谓词填充、Analysis、分词解析NER、代词指代消解、词义消歧、情感分析、关系抽取、知识库、文本分类等，几乎所有领域。 资源整理自网络，源地址：https://github.com/...
【论文阅读】Deep Learning Workload Scheduling in GPU Datacenters:Taxonomy, Challenges and Vision
weixin_46091520的博客
11-11 1210
论文阅读笔记Gao W, Hu Q, Ye Z, et al. Deep Learning Workload Scheduling in GPU Datacenters: Taxonomy, Challenges and Vision[J]. 讨论了数据中心负载作业的特征以及相关工作
下一代的搜索引擎是什么样子？神经网络真的能「死记硬背」吗？
Kaiyuan_sjtu的博客
03-31 490
目前搜索引擎技术已经迭代很多年了，从纯字面的匹配、到统计特征的匹配，再到神经网络的匹配，虽然一直在小步快走，但仍然没有跳出现有的Pipeline框架：即先召回、再排序。召回是指从海量数据中筛出一小批可能的候选，排序是从一小批候选中找出最终的答案并进行排序。现有的Pipeline大多是在召回侧用字面或者浅层网络，不然数据量太大了根本处理不过来，而排序侧因为数据量小，会上更多...
TensorFlow安装教程
热门推荐
诸神缄默不语的博客
05-28 6万+
本文介绍TensorFlow在Linux系统上的安装方法。
cs224w（图机器学习）2021冬季课程学习笔记集合
诸神缄默不语的博客
05-26 5万+
我自己写的cs224w（图机器学习）2021冬季课程笔记的目录
huggingface.transformers安装教程
诸神缄默不语的博客
02-28 5万+
本部分介绍transformers包如何安装，安装后如何检验是否安装成功，以及cache的设置和离线模式如何操作。
60分钟闪击速成PyTorch（Deep Learning with PyTorch: A 60 Minute Blitz）学习笔记
诸神缄默不语的博客
04-24 3万+
PyTorch官方教程：60分钟闪击速成PyTorch（Deep Learning with PyTorch: A 60 Minute Blitz）的学习笔记。
NetworkX入门教程
诸神缄默不语的博客
05-28 3万+
NetworkX入门教程 NetworkX：Python处理图数据的包
wandb使用教程（持续更新ing...）
诸神缄默不语的博客
05-17 2万+
wandb使用教程
huggingface.datasets无法加载数据集和指标的解决方案
诸神缄默不语的博客
04-08 2万+
解决huggingface的datasets包无法加载数据集的问题
Some weights of the model checkpoint at mypath/bert-base-chinese were not used when initializing Ber
诸神缄默不语的博客
04-05 2万+
Some weights of the model checkpoint at mypath/bert-base-chinese were not used when initializing BertModel: ['cls.seq_relationship.weight', 'cls.predictions.transform.dense.bias', 'cls.seq_relationship.bias', 'cls.predictions.bias', 'cls.predictions.transf
PyTorch Geometric (PyG) 入门教程
诸神缄默不语的博客
06-03 2万+
PyTorch Geometric (PyG) 入门教程
How can I use Qt to translate the names of image files in a folder into English?
10-22
To translate the names of image files in a folder into English using Qt, you can follow these steps: 1. **Include necessary libraries**: First, make sure you have included the `QtWidgets` and `QtGui` libraries, as they provide file handling and translation support. ```cpp #include <QApplication> #include <QDir> #include <QTranslator> #include <QTextCodec> ``` 2. **Create a translator object**: Instantiate a `QTranslator` instance and load an English translation resource: ```cpp QTranslator translator; QFile langFile(QStringLiteral("en_US.qm")); // Replace "en_US" with your desired language code if (langFile.open(QIODevice::ReadOnly | QIODevice::Text)) { translator.load(langFile); } ``` 3. **Detect current locale**: Use `QLocale` to determine the user's system language if needed, or force it to English: ```cpp QLocale locale; if (!translator.loadFromResource(QStringLiteral("qt"), QStringLiteral("en"))) { // Forcing English locale = QLocale(QLatin1String("en")); } ``` 4. **Iterate over files and translate their names**: Loop through the images in the folder, get the original name, apply the translation, and update the file name: ```cpp QDir directory("path/to/folder"); foreach (const QString &fileName, directory.entryList()) { if (fileName.endsWith(".jpg") || fileName.endsWith(".png")) { QString untranslatedName = QDir::toNativeSeparators(fileName); QString translatedName = translator.translate(untranslatedName); if (!translatedName.isEmpty()) { QString newFileName = translatedName + QLatin1String("."); // Add period back for file extension QFile source(untranslatedName); QFile target(newFileName); if (source.exists() && !target.exists()) { source.rename(target); } } } } ``` 5. **Handle exceptions**: Don't forget to handle any errors that might occur during file operations. 6. **Run the application**: Initialize your `QApplication` and run the main loop. ```cpp int main(int argc, char *argv[]) { QApplication app(argc, argv); // ... Rest of your program logic return app.exec(); } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值