言简意赅学习Learning to (Learn at Test Time): RNNs with Expressive Hidden States

最新推荐文章于 2025-04-09 07:00:00 发布
最新推荐文章于 2025-04-09 07:00:00 发布
阅读量1.9k 收藏 15
点赞数 12
文章标签： 学习 深度学习 人工智能 nlp rnn language model 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_53895111/article/details/140479058
版权

Main Content

所有的序列建模层都可以表示为一个根据更新规则进行转换的隐藏状态。

main idea：隐藏状态设为一个具有权重W的模型f，并将更新规则设为自监督损失ℓ的梯度步。

测试时训练（Test-Time Training, TTT）：在测试序列上更新隐藏状态等同于在测试时训练模型f。

隐藏状态是一个自监督学习更新的模型。

相当于把前向传播的参数用一个model来更新

所有的序列建模层（sequence modeling layer）都可以视为该图中三个组件的不同实例：初始状态、更新规则和输出规则。

自注意力机制的隐藏状态随上下文增长，因此每个token的成本也随之增加。而naive RNN和TTT层都将增长的上下文压缩到固定大小的隐藏状态中，因此每个token的成本保持不变。

Details

所有序列建模层都可以从存储历史上下文到隐藏状态的角度进行查看：

RNN（LSTM、RWKV和Mamba）将上下文压缩到固定大小的状态中有两个后果。一方面，将输入t

最低0.47元/天 解锁文章
新一代大语言模型架构：测试时间训练层（Test-Time Training，TTT）
weixin_41496173的博客
07-16 5010
近年来，随着Transformer架构的出现，人工智能特别是自然语言处理领域取得了飞跃性的进展。然而，最新的大语言模型架构Test-Time Training（简称TTT）的出现，可能会在不久的将来超越Transformer和Mamba。本文将详细介绍这一全新架构的设计理念、技术细节、实际应用及其潜在影响。
速度太慢，跑个分试试：AI语言模型和API性能对比；开源的高质量PDF,DOC提取工具；斯坦福TTT代码实现
haleycat的博客
07-10 1892
Artificial Analysis 是一个专门独立分析AI语言模型和API提供商的平台，旨在帮助用户了解AI领域并选择最适合其需求的模型和API提供商。：质量指数（越高越好）、输出速度（每秒生成的Token数量，越高越好）和价格（每百万Token的价格，越低越好）是主要的考核指标。地址：https://huggingface.co/spaces/philschmid/llm-pricing。地址：https://github.com/test-time-training/ttt-lm-pytorch。
Learning to (Learn at Test Time): RNNs with Expressive Hidden States 论文阅读
m0_73872315的博客
12-10 1020
这篇文章也是和TTT相关的(虽然是rnn),我看完一遍之后的感觉就是–类似于上次看的CV领域的那一篇TTT结构的方法–本质上就是用一个辅助模型来帮助主模型处理一些训练集里没有的东西,同时,辅助模型的训练方式也都是自监督学习,在cv里用图像翻转,在nlp里就当然使用字符串遮盖预测了,总之 ,文章链接:https://arxiv.org/pdf/2407.04620。
【论文笔记】线性注意力：Learning to (Learn at Test Time): RNNs with Expressive Hidden States
wufen_的博客
08-13 1361
现有的 RNN 层具有线性复杂度，但它们在长上下文中的性能受到隐藏状态表达能力的限制。在 Books 的 2k 上下文中，Pile Пk 的所有观察结果仍然成立，除了 Mamba 现在的表现略好于 TTT-Linear（而 它们的线在 Pile Пk 中大致重叠）。，这一过程通过自监督学习进行，即将历史上下文x视为没有label的数据集，而将隐藏状态视为模型，也就是将隐藏状态视作自监督模型产生的模型。对于批量大小b的选择，需要进行速度和质量之间的权衡，原文进行了实验，得到了如图的结果，故采取了b=16。
【AI论文】通过测试时间训练生成一分钟视频
m0_66899341的博客
04-09 1401
TTT层的核心思想是将隐藏状态本身视为一个神经网络，并通过在测试时间进行训练来更新这个神经网络。这种方法使得隐藏状态能够表达更丰富的信息，从而提高模型处理长上下文的能力。具体来说，TTT层通过梯度下降来优化隐藏状态，使其能够更好地压缩历史上下文。在本文中，TTT层被实例化为一个包含两层MLP（多层感知机）的模型，其中隐藏层的维度是输入维度的四倍，并使用GELU激活函数。为了稳定训练过程，TTT层还包含了Layer Norm和残差连接。
（2024，测试时训练（TTT），线性注意力，RNN，嵌套循环）学习（在测试时学习）：具有表达性隐藏状态的 RNN
qq_44681809的博客
07-10 4677
​通过使隐藏状态成为一个机器学习模型，并将更新规则设为自监督学习的一步，本文将监督学习表述为学习如何学习，包含两个嵌套循环。外循环与常规训练相同。外循环的参数是内循环的超参数。由于隐藏状态在测试序列上也会进行训练更新，这些层被称为TTT层
Test-Time Training
whaosoft143ai的博客
11-11 2428
如表一所示，TTT++[2]同时出现在了 N-O 和 Y-O 的协议下，是因为 TTT++[2]拥有一个额外的自监督分支，我们在 N-O 协议下将不添加自监督分支的损失，而在 Y-O 下可以正常使用此分子的损失。同时，提出了基于目标域数据定锚聚类（Anchored Clustering）的方法，在多种 TTT 分类下取得了最高的分类准确率，本文对 TTT 的后续研究指明了正确的方向，避免了实验设置混淆带来的结果不可比问题。除此之外，作者在 6 个基准的数据集上进行了充分的对比实验和一些进一步的分析。
训练过程--测试时增强（test time augmentation, TTA）
wydbyxr的博客
12-06 1万+
  可将准确率提高若干个百分点，它就是测试时增强（test time augmentation, TTA）。这里会为原始图像造出多个不同版本，包括不同区域裁剪和更改缩放程度等，并将它们输入到模型中；然后对多个版本进行计算得到平均输出，作为图像的最终输出分数。   有作弊的嫌疑。   这种技术很有效，因为原始图像显示的区域可能会缺少一些重要特征，在模型中输入图像的多个版本并取平均值，能解决上述问题。...
基于MATLAB的深度学习时间序列回归预测：RNNs模型（包括LSTM、GRU和biLSTM）实例
最新发布
05-08
适合人群：具有一定MATLAB基础和机器学习经验的研究人员、工程师和技术爱好者。 使用场景及目标：适用于需要进行时间序列预测的实际项目，如股票价格预测、电力负荷预测等。目标是帮助读者掌握如何利用MATLAB快速...
基于MATLAB的深度学习时间序列预测：RNNs模型（LSTM、GRU、BiLSTM）的应用与实现
04-23
适合人群：具有一定MATLAB基础和机器学习经验的研究人员、工程师和技术爱好者。 使用场景及目标：适用于需要进行时间序列预测的实际项目，如股票价格预测、电力负荷预测等。目标是帮助读者掌握如何利用MATLAB快速...
【论文研读】 两篇公众号文章；Test-Time Training；超分Domain Adaptive
Always_ease的博客
12-18 2015
测试集没有标签，我们可以拿来测试模型吗？ Paper Link：https://arxiv.org/abs/2007.02915 重点研究自动模型评估（AutoEval）这一重要的且尚未开发的问题。具体来说，给定带标签的训练集和分类器，我们需要估计出分类器在未标记的测试数据集上的分类准确性。 方法的出发点：测试集合和训练集合数据分布差异越大，那么分类器在测试集合上的准确率就会越低。 采用回归模型：输入为一个测试集与数据分布差异相关的特征（如均值和协方差），输出为分类器在其上的准确率。 构造元数据集
干货！迈向鲁棒的测试时间适应
AITIME_HY的博客
08-08 1530
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！通过自监督学习进行测试时间训练（TTT）是一种解决分布变化的新兴范式。尽管取得了令人鼓舞的结果，目前尚不清楚这种方法何时有效或失败。在这项工作中，我们首先深入研究了这类方法的局限性，发现存在严重分布变化的情况下，TTT可能会恶化而不是改善模型性能。为了解决这个问题，我们引入了一种利用离线特征总结和在线矩匹配的测试时...
学习在测试时学习（Learning at Test Time）: 具有表达性隐藏状态的循环神经网络（RNNs）
AI浩
07-23 1251
https://arxiv.org/pdf/2407.04620 自注意力机制在长文本语境中表现良好，但其复杂度为二次方。现有的循环神经网络（RNN）层具有线性复杂度，但其在长文本语境中的性能受到隐藏状态表达能力的限制。我们提出了一种新的序列建模层类，该类具有线性复杂度和高表达能力的隐藏状态。核心思想是将隐藏状态本身视为一个机器学习模型，而其更新规则则是自监督学习的一个步骤。由于隐藏状态甚至在测试序列上通过训练进行更新，因此我们的层被称为测试时训练（Test-Time Training，TTT）层。我们考虑
Test-time adaptation & Unsupervised Domain Adaptation
qq_37246721的博客
03-30 1824
无监督域自适应论文阅读笔记
斯坦福提出大模型最强架构TTT，超越Transformers
夕小瑶科技说
07-13 2621
在Transformer被提出以前，以LSTMs为代表的RNNs网络结构由于计算简单、擅长处理序列数据常被用作NLP领域的基础架构。但受其结构限制，RNNs容易出现梯度消失和梯度爆炸问题，也无法像Transformer那样进行缩放或有效地利用长上下文。而自注意力机制则擅长处理长文本，但它计算起来有些复杂，复杂度跟数据长度的平方成正比。 最近，来自Stanford的团队设计了一种新的序列建模层——测试时训练(Learn at Test Time)（TTT）层。这个层既保持了线性复杂度的好处，又让隐藏状态变得
如何从RNN起步，一步一步通俗理解LSTM
weixin_42692506的博客
07-29 1531
转自https://blog.youkuaiyun.com/v_july_v/article/details/89894058 如何从RNN起步，一步一步通俗理解LSTM 前言 提到LSTM，之前学过的同学可能最先想到的是ChristopherOlah的博文《理解LSTM网络》，这篇文章确实厉害，网上流传也相当之广，而且当你看过了网上很多关...
顶会新热点！斯坦福全新架构TTT干翻Mamba和Transformer！
3D视觉工坊
07-15 572
点击下方卡片，关注「3D视觉工坊」公众号选择星标，干货第一时间送达来源：3D视觉工坊添加小助理：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群扫描下方二维码，加入3D视觉知识星球，星球内凝聚了众多3D视觉实战问题，以及各个模块的学习资料：近20门视频课程（星球成员免费学习）、最新顶会论文、计算机视觉书籍、优质3D视觉算法源码等。想要入门3D视觉、做项目、搞科研，欢迎扫...
一文通透TTT：让RNN的隐藏层变成可学习的函数——继mamba之后也想超越Transformer
热门推荐
结构之法 算法之道
07-22 1万+
TTT出来有一段时间了，让我确定要写TTT解读的，是源于我司LLM论文100篇课程群里的一学员辰子说，“校长 最近的TTT考不考虑讲一下”故当时想着：解读完mamba2之后，则解读open-television、我司7方面review微调gemma2，再接下来是TTT、nature审稿微调、序列并行、Flash Attention3..如今虽然mamba2的解读还没完全修订完，但“open-television、我司7方面review微调gemma2”都解读的差不多了，故今天开写TTT。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值