Re60：读论文 FILM Adaptable and Interpretable Neural Memory Over Symbolic Knowledge

原创 于 2023-12-13 21:35:06 发布 · 246 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformers #LLM #NLP #大规模预训练语言语言模型 #自然语言处理 #BERT #FILM

这篇2021年NAACL的谷歌论文探讨了适应性和可解释性的神经记忆模型FILM，用于解决语言模型中信息更新的问题。论文提出了一种知识库结构，通过三向量组表示实体和关系，以提高模型的解释性。作者认为模型虽然复杂但缺乏新颖技巧，且谷歌论文通常难以理解，因此未深入研究。
部署运行你感兴趣的模型镜像

诸神缄默不语-个人优快云博文目录
诸神缄默不语的论文阅读笔记和分类

论文名称：Adaptable and Interpretable Neural Memory Over Symbolic Knowledge
模型名称：Fact Injected Language Model (FILM)

NAACL版网址：https://aclanthology.org/2021.naacl-main.288/

本文是2021年NAACL论文，作者来自谷歌。

这篇论文解决的也是LM中信息更新难（需要改数据重新训练）的问题，提出了可解释的神经符号知识库fact memory，每个元素来自一个三向量组（每个向量对应一个知识库实体或关系）。
entity memory
FILM：masked LM

总之就是这种堆叠的模型……
在这里插入图片描述

这篇论文看起来太堆叠了，没什么值得我现在研究的trick，而且是谷歌论文（谷歌的论文普遍晦涩难懂），所以没有仔细看。

实验

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

这个是考虑到训练集使用数据的问题：
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

您可能感兴趣的与本文相关的镜像

Qwen3-VL-30B

Qwen3-VL-30B

图文对话
Qwen3-VL

Qwen3-VL是迄今为止 Qwen 系列中最强大的视觉-语言模型，这一代在各个方面都进行了全面升级：更优秀的文本理解和生成、更深入的视觉感知和推理、扩展的上下文长度、增强的空间和视频动态理解能力，以及更强的代理交互能力

FaE：基于符号知识的适应性和可解释的神经记忆
NLPlunwenjiedu的博客
03-07 1115
本文作者开发了一种神经语言模型Facts-as-Experts (FaE)，其在神经网络语言模型和符号知识库（symbolic KB）之间建立了一个桥梁，将深度神经网络的表达能力优势和符号知识库的推理能力优势进行了有机结合。
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
诸神缄默不语的论文阅读笔记和分类
诸神缄默不语的博客
06-27 1135
诸神缄默不语的论文阅读笔记和分类：作者论文阅读笔记的目录或索引
NLP的“第四范式”之Prompt Learning总结：44篇论文逐一梳理
Kaiyuan_sjtu的博客
11-04 3159
作者|杨浩@阿里达摩院研究方向|自然语言处理整理|Paperweekly背景随着 GPT-3 诞生，最大的版本多达 1750 亿参数，是 BERT-BASE 的一千多倍...
ACL 2022 主会长文论文分类整理
Kaiyuan_sjtu的博客
05-13 7029
© 作者｜蒋锦昊 机构｜中国人民大学高瓴人工智能学院研究方向 | 自然语言处理导读ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。官方发布的接收论文列表：Accepted Papers...
【AAAI 2021】全部接受论文列表（五）
yinizhilianlove的博客
01-14 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
【AAAI 2021】全部接受论文列表（二）
yinizhilianlove的博客
01-14 6967
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
AAAI2021论文列表（中英对照）
dovings的博客
07-04 1万+
AAAI2021论文列表（中英对照）
总结 | ACL2022主会论文分类整理
04-25 1万+
大家好，我是对白。ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。本文对ACL 2022接受列表中的的602篇主会长文论文，按不同的研究主题进行分类整理（分类标准参考 ACL 官方投稿主题），整理过程中难免有疏漏，欢迎大家在下方评论留言，交流探讨！论文列表已经同步更新到 GitHub，欢迎大家关注和 Star。目录Adversari
NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-29 1万+
​ NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读 目录 相关文章 《GPT-3: Language Models are Few-Shot Learners》的翻译与解读 Abstract 摘要 1 Introduction 介绍 2 Approach方法 3 Results 结果 4 Measuring and Preventing Memorization Of Ben
TensorFlow安装教程
热门推荐
诸神缄默不语的博客
05-28 6万+
本文介绍TensorFlow在Linux系统上的安装方法。
cs224w（图机器学习）2021冬季课程学习笔记集合
诸神缄默不语的博客
05-26 5万+
我自己写的cs224w（图机器学习）2021冬季课程笔记的目录
huggingface.transformers安装教程
诸神缄默不语的博客
02-28 5万+
本部分介绍transformers包如何安装，安装后如何检验是否安装成功，以及cache的设置和离线模式如何操作。
60分钟闪击速成PyTorch（Deep Learning with PyTorch: A 60 Minute Blitz）学习笔记
诸神缄默不语的博客
04-24 3万+
PyTorch官方教程：60分钟闪击速成PyTorch（Deep Learning with PyTorch: A 60 Minute Blitz）的学习笔记。
NetworkX入门教程
诸神缄默不语的博客
05-28 3万+
NetworkX入门教程 NetworkX：Python处理图数据的包
wandb使用教程（持续更新ing...）
诸神缄默不语的博客
05-17 2万+
wandb使用教程
huggingface.datasets无法加载数据集和指标的解决方案
诸神缄默不语的博客
04-08 2万+
解决huggingface的datasets包无法加载数据集的问题
Some weights of the model checkpoint at mypath/bert-base-chinese were not used when initializing Ber
诸神缄默不语的博客
04-05 2万+
Some weights of the model checkpoint at mypath/bert-base-chinese were not used when initializing BertModel: ['cls.seq_relationship.weight', 'cls.predictions.transform.dense.bias', 'cls.seq_relationship.bias', 'cls.predictions.bias', 'cls.predictions.transf
PyTorch Geometric (PyG) 入门教程
诸神缄默不语的博客
06-03 2万+
PyTorch Geometric (PyG) 入门教程
AdapTable与OpenFin集成：实时金融工具演示
资源摘要信息:"openfin-demo演示了如何将AdapTable与OpenFin集成，提供了关于如何安装和运行演示应用的详细说明，并强调了有关登录私有NPM注册表和运行环境设置的特别注意事项。" ### 知识点解析： #### 1. ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值