Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers

最新推荐文章于 2025-12-12 18:01:47 发布
最新推荐文章于 2025-12-12 18:01:47 发布
阅读量146 收藏
点赞数 4
CC 4.0 BY-SA版权
分类专栏： LLM Daily Causal and Reasoning 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/147976355

文章主要内容

本文聚焦于提升Transformer在真实世界多跳推理任务中的表现，核心在于通过数据增强策略解决知识图谱稀疏性问题，进而触发模型的“grokking”（从记忆到泛化的突变）能力。研究通过向现有知识图谱中加入精心设计的合成数据，提高推理事实与原子事实的比例ϕr\phi_rϕr</

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【ECCV2020】完整论文集part2
TomRen
07-18 7994
ECCV2020 接收论文完整列表 看论文学CV
【CVPR2022】论文列表与下载——PartFour
TomRen
06-12 3442
【CVPR2022】完整论文列表
CVPR2022论文列表（中英对照）
dovings的博客
07-04 2万+
CVPR论文列表，中英对照
AAAI2021论文列表（中英对照）
dovings的博客
07-04 1万+
AAAI2021论文列表（中英对照）
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(二)
yinizhilianlove的博客
02-21 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
【AAAI 2021】全部接受论文列表（四）
yinizhilianlove的博客
01-14 6679
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 3万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
2020 ECCV 所有论文及补充材料链接（二）
u014546828的博客
08-24 1万+
2020 ECCV 所有论文及补充材料链接（一） 2020 ECCV 所有论文及补充材料链接（二） ------------------------------------------------------------------ Yet Another Intermediate-Level Attack Qizhang Li, Yiwen Guo, Hao Chen [pdf] [DOI] Topology-Change-Aware Volumetric Fusion for Dynam
顶会速递 | ICLR 2020录用论文全集
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
ClassMix: Segmentation-Based Data Augmentation for Semi-Supervised Learning学习笔记
passer__的博客
03-10 2326
从DAFormer溯源到这篇文章，ClassMix主要是集合了伪标签和一致性正则化，思想来源于CutMix那条研究路线，但是优化了CutMix中的标签污染的情况，后续会说。一致性正则化的半监督学习在图像分类中取得了显著的进展，主要利用强数据增强来加强对未标记的一致性预测图片，然而在半监督语义分割中被证明是无效的。
DAGA: Data Augmentation with a Generation Approach for Low-resource Tagging Tasks 论文解读
DongxueB的博客
07-14 690
DAGA数据增强论文解读
（Re-ID论文精读2）CVPR2023: Patch-wise High-frequency Augmentation for Transformer-basedPerson Re-id
qq_55794606的博客
01-31 1983
挖坑（提出问题）：自从这个VIT应用在reid领域，效果显著，比CNN要好，但是呢在High-frequency信息呢CNN的效果是优与VIT的，比如这个衣服的纹理细节，因为这个VIT 的Self-Attention机制会利用low-frequency信息把High-frequency信息“稀释”掉。
【文献阅读】4-Data Augmentation for EEG-Based Emotion Recognition with Deep Convolutional Neural Net-2018
Iron_vik的博客
11-12 1640
本文针对脑电信号的情绪识别数据集数据较少的问题，提出了一种数据增强的方法在对浅层和深层，一共三个学习模型进行使用前后的对比测试，对情绪进行三类划分。
Data Augmentation for Multi-Modality 3D Object Detection---Moca
weixin_48506823的博客
05-06 905
近期项目需要对3D点云数据进行数据增强操作，调研了一些点云数据增强的算法，moca是比较经典以及首次在多模态中使用剪切、复制操作的方式去进行数据增强。 Introduction 在无人驾驶的背景下，3D目标检测作为一个至关重要的可视化任务获得了广泛的应用。但是点云数据相对于图像而言，目前的数据集所存在着明显的不足，很多时候我们需要去对数据集进行增强操作，以此去减少过拟合以及提高算法的泛化能力。目前存在的许多点云数据的增强算法都是基于单模态，对于这些基于单模态获得的点云数据而言，存在着一些限制：一个典型的雷达
深度学习下载包时可能会遇到的问题及解决方案
m0_50481455的博客
12-09 493
若确实下载安装了CUDA ，但是此时输出的CUDA是否可用为否，应该是torch的版本为cpu版本导致，刚刚的下载包的语句如果总是下载的是cpu版本，我们考虑直接去网站下指定包，再进行安装。CUDA Version表示的是驱动支持的最高 CUDA 版本，去官网下载 CUDA ，我这里是12.2，表示下载的版本最大只能是12.2。然后下载包时，比如本地环境是Python3.9，找包下载时候，3.9要下对应cp39的包。下载好后，执行语句安装。
精品数据分享 | 锂电池数据集（七）同济大学电池数据集
12-11 787
本期继续分享一篇Nature communicationTop论文公开锂离子电池数据，划重点-数据集开源，代码开源！！！
vLLM推理引擎教程4-离线推理功能
benben044的专栏
12-12 534
本文介绍了使用vLLM框架优化推理性能的多种方法。主要内容包括：1）基础文本生成、对话式推理、文本分类和嵌入提取四种任务的基本实现；2）自动前缀缓存功能，通过共享KV缓存加速长上下文处理；3）使用YARN方法扩展模型上下文长度；4）多模态任务处理示例（Whisper语音识别）；5）底层LLMEngine API的使用。文章通过具体代码示例展示了如何设置参数实现各类推理优化，包括温度调节、top-p采样、缓存复用等技巧，适用于文本生成、分类、嵌入等多种NLP任务场景。
观成科技:Zloader木马家族加密流量分析
GCKJ_0824的博客
12-12 510
摘要：Zloader木马最初作为银行木马Zeus的下载器，现被广泛用于勒索软件投递。其采用多种加密通信技术规避检测：1）DGA技术生成随机域名；2）DNS隧道隐藏数据；3）HTTPS加密通信；4）Websocket掩码加密。最新版本通过会话密钥强化DNS隧道加密。观成科技利用AI模型结合TLS指纹检测HTTPS加密流量，持续通过行为分析和机器学习应对加密威胁。研究表明，恶意软件正不断升级流量对抗技术，凸显加密流量检测的重要性。（149字）
Syslog / Flow / Telemetry 的 AI 聚合与异常检测实战（可观测性）
最新发布
oQianYuan的博客
12-12 902
网络设备每天在后台发出巨量的可观测性数据，它们大多数被丢弃、被忽略、被埋没在日志平台里。Syslog、Flow、Telemetry 是三类最常用的基础信号，但它们一直没有在企业里发挥出该有的价值——所谓“看起来都有，出了问题却找不到原因”。过去几年里，我几乎把所有大型网络的事故复盘都做过一遍，最后得出的共同结论是：事故不是因为没有可观测性，而是因为信号太分散、太原始，而人类根本处理不过来。这篇文章的目标很直接：把 Syslog、Flow、Telemetry 三种信号，做成可输入 AI 的高质量特征，进而构建
Exploring data augmentation for multi-modality 3D object detection
12-29
### 数据增强技术在多模态3D目标检测中的应用 对于多模态3D目标检测，在计算机视觉领域内，数据增强方法旨在通过变换输入数据来增加模型训练的有效样本数量并提升泛化能力。具体到多模态场景下，这些方法不仅涉及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值