Continual Interactive Behavior Learning With Traffic Divergence Measurement (TITS 2024)

原创 已于 2024-09-11 19:42:13 修改 · 235 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #深度学习 #算法

于 2024-09-11 18:48:43 首次发布

  1. 文章动机 why :为什么使用持续学习来进行轨迹预测: （思考所提出的问题下文是否解决）
    （a）当测试数据分布和训练数据分布不同时，模型训练出的模型范式在测试数据中效果就会不好 （transfer learning？ 下文需要证明当训练数据分布和测试分布不同时 你使用 CL 训练的效果比别人好）

    （b）AV 的行驶过程会不断的增加数据流 而传统的训练方法需要在这种数据流上重新训练 以保证良好的性能 但该方案计算负担大 数据存储需求 和效率不高 （那么下文需要证明 跟别人比你使用持续学习 计算负担小 效率高）。

    （c）给定一个可能无限的数据流，从一系列部分经验中学习（其中所有数据都无法同时获得）称为持续学习 持续学习 主要解决 灾难性遗忘 当模型学习新任务后对过去任务的精度降低在连续场景中，使用当前场景数据训练的轨迹预测器在学习场景（旧任务）中可能表现不佳，这称为灾难性遗忘。（问题 b）
    从数据方面来看，灾难性遗忘的原因之一是训练数据和测试数据的分布不同。（问题 a）

待续

Continual Learning with Deep Generative Replay笔记
juggle_gap_horse的博客
03-17 6356
1.引言 人工神经网络容易发生灾难性遗忘。常常通过重放过去任务的真实样本来联合优化网络参数，但这种方法占用内存，可能在现实部署中不顺利。基于脑科学的研究指出，人脑皮层的海马体不仅仅是一个简单的记忆回放缓冲区。记忆痕迹的重新激活会产生相当灵活的结果。记忆的改变和重新激活会导致巩固记忆的缺陷，而共同刺激海马体中的某些记忆痕迹会产生从未经历过的‘’虚假记忆‘’。这些特性表明，海马体与生成模型的并行性比回放缓冲区更好（这里解释为什么用生成式数据替代真实样本，源自于海马体研究的启发） 所以我们提出了一种方法来顺序训练
Enhancing Visual Continual Learning with Language-Guided Supervision
weixin_41749533的博客
05-23 714
同时，由于分类器中的语义目标是在没有任何先验知识的情况下随机初始化的，然后在单个任务中进行优化，因此它很难捕获所有任务之间的语义相关性。而在本文中，作者提出的观点为，传统的独热编码缺失语义信息，由于对于n分类问题来说，每一个类别都由一个n维的向量构成，向量之间相互独立。进行了广泛的实验以系统地检查我们的方法。因此，训练目的从，基于one-hot的类别的匹配，变为将图像空间的特征空间无限接近语义信息得到的特征空间。原始的分类器的特征空间是基于原始模型训练的类别信息，而且特征空间由输入的图像的多个类别占用了。
ICLR2024-强化学习+持续学习《CPPO: Continual Learning for Reinforcement Learning with Human Feedback》
qq_46981910的博客
03-14 1986
强化学习从人类反馈（RLHF）的方法被广泛用于增强预训练语言模型（LM），使它们能更好地与人类偏好对齐。然而，现有的基于RLHF的LM在引入新查询或反馈时需要完全重新训练，因为人类的偏好可能在不同的领域或主题之间有所不同。现有的RLHF方法在引入新的查询或反馈时需要对语言模型（LM）进行重新训练，这在实际应用中往往因时间、计算成本和数据隐私问题而不可行。本文提出了CPPO（连续近端策略优化，Continual Proximal Policy Optimization），这是一种用于强化学习中人类反馈（Rei
PRN（20210426）：Online Continual Learning with Maximally Interfered Retrieval
昔风不起，唯有努力生存！
04-26 1318
基于回放单元的方法被大量研究证明能够有效缓解深度学习灾难性遗忘问题。基于回放单元方法的有效性取决于选择存储的样本是否有助于帮助避免遗忘。本篇介绍一种新方法，它通过可以预见的参数更新，来判断样本损失值受扰动的大小来选择重要样本。该方法被用于样本生成回放与经验回放两种场景。 1. Maximally Interfered Sampling from a Replay Memory 首先，介绍经验回放。 给定一个标准的目标函数min⁡θL(fθ(Xt),Yt)\min_{\theta}\mathcal{L}.
持续学习——Continual Learning With Additive Parameter Decomposition
联邦学习小白
09-30 3163
持续学习的概念 “持续学习”的概念其实非常好理解，正如我们先后学习高数和线代，我们希望在学习线代的时候仍能够记住之前学的高数内容，同时用高数的思想来帮助理解和学习线代，这就是一种持续学习的能力。那我们也希望神经网络可以跟人一样具备这种能力，对多个任务不断学习，而不是再为每个任务训练一个网络。这种能力概括起来就是以下两点： 可塑性（学习新知识的能力）：应用从之前任务学习到的经验，以更快更好地学习当前任务； 稳定性（旧知识的记忆能力）：学习当前任务时，不会忘记之前已经学会的任务。 持续学习面对的挑战 然鹅，
Federated Continual Learning with Weighted Inter-client Transfer——论文笔记
qq_45478482的博客
11-18 2320
一. 简介 持续学习是一种序列化任务学习方式使得机器能够像人类一样不断去学习新知识而避免灾难性遗忘。然而，即便这样，这些模型根本上还是存在缺陷，因为每一个模型只能从直接经验去学习知识（意思是，只能对于自己的数据集去进行学习）。但是人类可以从书籍、视频等方式去获取他人的经验。那么不同机器也也可以存在这样一个方式去进行信息交换和学习，然而这样又到来隐私和通信的问题，而处理这一问题的方法就是联邦学习。 联邦学习是通过交换参数而不是原始数据本身来解决上述问题。然而简简单单的结合将会带来新的挑战。**首先是，持续的联
NeurIPS-2023《A Definition of Continual Reinforcement Learning》
Christo的博客
07-01 852
这篇论文为持续强化学习提供了首个系统的理论定义，填补了该领域的理论空白。虽然没有提出具体的算法，但它为后续研究奠定了坚实的基础。开发专门针对 CRL 的高效优化算法；构建标准化的 CRL 基准测试平台；探索 CRL 在现实世界中的应用，如机器人、自动驾驶、个性化推荐等。如果你希望我进一步结合这篇论文的内容，或者你想了解某一部分的扩展分析，请随时告诉我！
【Lifelong learning】Continual Learning with Knowledge Transfer for Sentiment Classification
Baigker的博客
01-05 1210
链接：http://arxiv.org/abs/2112.10021
(Few-shot )Review:Learning from the Past:Continual Meta-Learning with Bayesian Graph Neural network
Bryce1010's Blog
12-02 1867
1. 提出问题 现有的基于图网络做meta-learning的方法会有Catastrophic forgetting 和 insufficient robustness的问题， 导致不嗯呢个保持long-term的knowledge，并会造成严重的错误积累。 Catastraphic forgetting insufficient robustness 2. 提出解决方案 针对Catast...
论文阅读笔记--Federated Continual Learning with Weighted Inter-client Transfer
Shawn2134123的博客
02-01 4157
本文提出了一种新的场景，联邦学习（FL）的每个client各自执行一系列的持续学习（Continual Learning）任务，为了说明这个场景的实际意义，文章给出了这样一个场景： 若干个医院要通过一个联邦学习框架交流自己的知识，每个医院的模型都在进行自己的一系列的疾病预测任务。作者以一个持续学习算法（Additive Parameter Decomposition，APD）为基础，加上了client之间的知识的加权，构成了整个算法，其中APD是本文同一作者发表在2020年ICLR的论文。 Continu
Raki的读paper小记：Forget-free Continual Learning with Winning Subnetworks
Raki_J的博客
03-05 1000
l1​WSN联合学习与每个任务相关联的子网络相关的模型权重和任务自适应二进制掩码，同时尝试通过重用之前子网络的权重来选择要激活的一小组权重（获胜票），每张中奖彩票产生的二进制掩码被编码为一个N位二进制数字掩码，然后使用霍夫曼编码进行压缩，以实现网络容量相对于任务数量的亚线性增长与图1a基于修剪的CL方法不同，该方法在预先训练的主干网络中获得特定于任务的子网络，我们。为了在模型学习新任务时允许前向转移，我们将学习到的，但有选择地，而不是使用所有权重（图1b），这可能会导致有偏的转移。
【机器学习】23-25 决策树 & 树集成
weixin_54010404的博客
12-02 1197
本文系统性地介绍了决策树模型及其相关算法。首先阐述了决策树的基本结构与学习过程，重点讨论了如何通过最大化信息增益选择最优划分特征，并详细解释了熵作为纯度衡量指标的计算方法。文章涵盖了分类树与回归树的构建逻辑，包括离散特征处理（独热编码）和连续特征阈值选择。 进一步，文章深入探讨了决策树集成方法，重点分析了随机森林算法通过放回抽样和特征随机选择来增强模型鲁棒性的机制。特别介绍了XGBoost算法的核心优势：自适应样本权重调整、内置正则化和高效实现。最后，文章对比了决策树集成与神经网络的应用场景。
0011机器学习特征工程
老欧学视觉的博客
12-03 734
本文系统介绍了机器学习特征工程的关键内容，包括特征工程在机器学习流程中的重要性、数据处理方法和降维技术。主要内容涵盖：1）特征工程的核心作用是通过数据预处理提升模型效果，包括异常值处理、数据平衡、文本向量化等；2）详细讲解了数据清洗、缺失值填充、标准化/归一化、One-Hot编码等基础处理方法；3）重点阐述了文本特征提取技术（词袋法、TF-IDF）和降维方法（特征选择、PCA、LDA）。文章强调特征工程需结合业务场景进行特征衍生和优化，占整个开发流程30%-50%的工作量，是机器学习项目成功的关键环节。
学习笔记二十三：支持向量机-间隔与支持向量
dengdaijc的专栏
12-02 743
本文介绍了支持向量机(SVM)的基本原理。SVM通过在样本空间中寻找最优划分超平面来实现分类，其核心思想是最大化分类间隔以提高泛化能力。关键概念包括：划分超平面的数学表示（由法向量和位移项定义）、支持向量（决定超平面位置的最近样本点）以及间隔（反映分类置信度）。SVM的基本型是一个凸二次规划问题，通过最小化法向量范数平方来最大化间隔，同时满足所有样本正确分类的约束条件。该方法具有理论严谨、模型稀疏、全局最优等优势，是经典的分类学习算法。
机器学习--损失函数
weixin_57225400的博客
12-04 382
损失函数（Loss Function）是机器学习中用于衡量模型预测值与真实值之间差异的函数，是优化算法的核心目标。通过最小化损失函数，模型逐步调整参数以提高预测准确性。通过组合现有函数或设计新公式满足特定需求。加权MSE：为不同样本分配不同权重。正则化损失：加入L1/L2惩罚项防止过拟合。
【机器学习三大范式对比总结】
最新发布
严文文 Chris
12-04 271
当初我学机器学习，一看到这些复杂的表格和术语就头疼。直到有一天，我意识到，这三种学习范式其实就像我们人类不同的学习方式，我才恍然大悟。现在，我希望以这段心路历程，带你用全新的视角理解它们。想象你被丢进一个完全陌生的市场，没有任何商品标签。你正在用什么范式面对你的知识、你的工作、你的人生困境呢？这个问题的答案，或许比任何算法选择都更有价值。所以，理解这三大范式，不仅仅是记住一张表格。它是在理解机器如何“学习”的同时，反过来。），你通过反复练习，学会从题目推导答案的。），自我完善，实现“举一反三”。
【模式识别与机器学习（14）】惰性学习kNN（聚类分析）【3】K-means算法中K值确定的五种方式
hiliang521的博客
12-02 702
【模式识别与机器学习（14）】K-means算法中K值确定教程
【机器学习】27 异常检测（密度估计）
weixin_54010404的博客
12-03 817
本文介绍了异常检测的基本概念和方法。主要内容包括：1) 异常检测基于密度估计，通过构建概率模型识别异常值；2) 使用高斯分布建模特征概率，介绍最大似然估计方法计算参数；3) 多特征异常检测算法及其实现流程；4) 评估方法，建议划分训练集、验证集和测试集；5) 比较异常检测与监督学习的适用场景；6) 特征选择策略，强调特征分布分析和错误分析的重要性。文章指出异常检测适用于异常类型未知或样本稀少的情况，而监督学习更适合已知异常类型且有充足标注数据的场景。
贝叶斯学习
weixin_61562383的博客
12-03 1015
贝叶斯学习的核心不是直接判断“它是A还是B”，而是计算“它是A的概率是多少，它是B的概率是多少”，然后选概率大的那个。Pci​∣x∝Px∣ci​Pci​Pci​xci​Px∣ci​ci​xPci​∣xxci​结论： 贝叶斯分类器的训练过程，本质上就是在统计数据，估计先验概率和似然概率。
Exploiting experience accumulation in stock price prediction with continual learning文献解读
09-13
由于没有实际提供该文献的引用内容，下面基于一般知识对这篇文献可能包含的内容进行解读。 ### 研究背景 股票价格预测一直是金融领域和人工智能交叉研究的热点问题。传统的股票价格预测模型往往在固定的数据集上进行训练，难以适应股票市场动态变化的特性。市场环境不断变化，新的信息和情况不断涌现，这就要求预测模型能够持续学习和适应新的数据，以提高预测的准确性和可靠性。 ### 核心概念 - **经验积累（Experience Accumulation）**：在股票价格预测中，经验积累意味着模型能够从过去的预测过程中学习到有用的信息，并将这些信息运用到后续的预测中。传统模型可能在每次遇到新数据时都从零开始学习，而具有经验积累能力的模型可以利用之前的学习成果，避免重复劳动，提高学习效率。 - **持续学习（Continual Learning）**：持续学习使模型能够不断适应新的数据分布和市场变化。在股票市场中，新的政策、经济数据、公司财报等都会影响股票价格，持续学习允许模型在不忘记之前所学知识的前提下，不断整合新的信息进行预测。 ### 研究方法 该文献可能会提出一种结合经验积累和持续学习的股票价格预测模型。可能会采用神经网络作为基础架构，通过特定的算法和机制实现经验的存储和复用。例如，使用记忆模块来保存过去的学习经验，当遇到新的数据时，模型可以从记忆模块中提取相关信息，与新数据一起进行学习和预测。 ### 实验与结果 为了验证模型的有效性，文献可能会进行一系列实验。实验数据可能涵盖不同时间段、不同行业的股票数据，以模拟真实的市场环境。通过对比该模型与传统股票价格预测模型（如线性回归、随机森林等）的预测准确率、误差率等指标，来证明结合经验积累和持续学习的模型在股票价格预测方面的优势。 ### 应用与意义 该研究成果在金融投资领域具有重要的应用价值。投资者可以利用更准确的股票价格预测模型来制定投资策略，降低投资风险，提高投资回报率。同时，该研究也为人工智能在金融领域的应用提供了新的思路和方法，推动了相关领域的研究发展。 ### 代码示例 以下是一个简单的持续学习模拟示例，使用Python和PyTorch： ```python import torch import torch.nn as nn import torch.optim as optim # 定义一个简单的神经网络模型 class StockPredictionModel(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(StockPredictionModel, self).__init__() self.fc1 = nn.Linear(input_size, hidden_size) self.relu = nn.ReLU() self.fc2 = nn.Linear(hidden_size, output_size) def forward(self, x): out = self.fc1(x) out = self.relu(out) out = self.fc2(out) return out # 初始化模型 input_size = 10 hidden_size = 20 output_size = 1 model = StockPredictionModel(input_size, hidden_size, output_size) # 定义损失函数和优化器 criterion = nn.MSELoss() optimizer = optim.Adam(model.parameters(), lr=0.001) # 模拟持续学习过程 for epoch in range(100): # 假设每次有新的数据输入 new_data = torch.randn(32, input_size) new_labels = torch.randn(32, output_size) # 前向传播 outputs = model(new_data) loss = criterion(outputs, new_labels) # 反向传播和优化 optimizer.zero_grad() loss.backward() optimizer.step() if (epoch + 1) % 10 == 0: print(f'Epoch [{epoch+1}/100], Loss: {loss.item():.4f}') ```
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Fools_______

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值