Domain Adaption : Cross-Domain Policy Adaptation by Capturing Representation Mismatch

最新推荐文章于 2025-09-19 15:33:46 发布
原创 最新推荐文章于 2025-09-19 15:33:46 发布 · 445 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #算法 #人工智能

ICML 2024
paper
code

Intro

强化学习中，如今实现动力学差异下的域自适应是重要研究课题。本文问题背景设定在源域和目标域之间存在动力学不匹，智能体可以获得足够的源主数据，但只能与目标域进行有限的交互。文章提出表征解耦的方法解决该问题，即只在目标域进行表征学习，源域则是利用表征后的差异作为惩罚项实现reward shaping。该过程有效的原因是策略在不同域之间的gap，是被两域表征差异upper bound。

method

表征学习部

鉴于定理 4.2 的启示，表征应该嵌入更多的目标域信息，而不是强调源域知识，这样表征偏差才能更好地代表动态变化。
在这里插入图片描述

因此，只在目标领域训练状态编码器和状态-动作编码器，
在这里插入图片描述
然后，源域的样本评估表征偏差。用计算出的偏差对源域重新进行惩罚，即将其奖励修改为：
在这里插入图片描述

价值函数优化

采用SAC的方法对二域数据优化，注意源域要进行reward shaping
在这里插入图片描述

策略优化

在线策略优化

采用SAC中优化形式：
在这里插入图片描述

离线策略优化

根据理论4.5，gap的upper bound与策略差异有关
在这里插入图片描述
，因此采用类似TD3+BC中的BC正则：
在这里插入图片描述
其中

伪代码

在这里插入图片描述

结果

在线

在这里插入图片描述

离线

在这里插入图片描述

其他

[论文笔记]LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
日积月累，天道酬勤
05-16 1930
⭐ 作者提出了LoRA，冻结了预训练模型的权重，将可训练的秩分解矩阵注入到Transformer架构的每一层中，大大减少了下游任务的可训练参数数量。同时秩分解矩阵和原始矩阵可以合并，可以不引入推理延迟。
LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of LLMs
c_cpp_csharp的专栏
04-22 306
已经提出了各种参数有效微调（PEFT）技术，以实现计算有效的微调，同时保持模型性能。然而，随着大型语言模型（LLM）的快速部署，现有的PEFT方法仍然受到越来越多的可训练参数的限制。为了应对这一挑战，我们提出了LoRETTA，这是一种超参数高效的框架，通过张量序列分解显著减少了可训练参数。具体来说，我们提出了两种方法，分别命名为LoRETTAadp和LoRETTArep。前者采用tensorized适配器，为LLM的微调提供了一种高性能但轻量级的方法。后者强调通过使用一组小张量因子的权重参数化进行微调。
Cross-Origin Read Blocking (CORB) blocked cross-origin response
热门推荐
YangzaiLeHeHe的博客
11-02 2万+
文章目录一、背景二、描述问题1、前因后果2、分析三、CORS1、 概念四、CORB1、概念2、一些概念3、说正事4、分析 一、背景 最近一直在做项目联调，由于系统对接了N个第三方厂商，于是乎扯出了一堆的跨域问题，他们是下面这样的： https域名访问http域名被浏览器禁止 接口未开放跨域能力 有一天 我看到了这个： 看不清的话看这里 Cross-Origin Read Blocking (CORB) blocked cross-origin response https://a.g.t.cn
理解 CORS 与 CORB：跨域安全的两道防线
智造编程
09-19 1019
摘要：本文对比分析了CORS（跨域资源共享）和CORB（跨域读取阻止）两种机制。CORS是W3C标准，通过服务端设置响应头允许合法跨域访问；CORB是浏览器安全增强功能，自动拦截敏感数据的意外跨域读取。关键区别在于CORS需要服务端配合，而CORB由浏览器自动执行。开发中需注意：JSONP应返回application/javascript而非JSON，避免触发CORB；CORS需正确配置响应头。理解两者差异可帮助开发者快速定位和解决跨域问题。
CTF之web安全
weixin_45722313的博客
04-02 1万+
web安全 CSRF 简介 CSRF，全名 Cross Site Request Forgery，跨站请求伪造。很容易将它与 XSS 混淆，对于 CSRF，其两个关键点是跨站点的请求与请求的伪造，由于目标站无 token 或 referer 防御，导致用户的敏感操作的每一个参数都可以被攻击者获知，攻击者即可以伪造一个完全一样的请求以用户的身份达到恶意目的。 CSRF 类型 按请求类型，可分为 GE...
论文阅读问题总结(六)：Meta-Learning with Domain Adaption for Few-shot Learning Under Domain Shift
qq_32599109的博客
03-23 827
1.这篇paper作者提出要解决的问题？ 作者提出，大部分现存的小样本元学习领域的一些工作都基于两个假设： training task和testing task都是从满足同一task distribution中采样出来的小样本数据集。 training tasks有足够的数据集提供给模型训练。 然而在真实的应用场景中，我们要解决的目标任务所在的领域并没有大量数据集用来构建training tasks(与testing task满足同一task distribution)。 2.传统的深度学习的domain
Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical Image
zjtxuebiancheng的博客
05-14 1848
@Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical Image Segmentation论文翻译 协同图像与特征自适应: 面向医学图像分割的跨模态域自适应 **摘要：**本文提出了一种新的无监督域自适应框架——协同图像与特征自适应(SIFA)，有效地解决了域位移问题。域自适应是近年来深度学习研究的一个重要和热点问题，其目的是解决神经网络应用于新的测试域时性能下降的问题。
009 PFA: Privacy-preserving Federated Adaptation for Effective Model Personalization（联邦个性化 自适应）
Uzz_yuzaizai的博客
06-28 1233
方法：提出PFA（实现隐私保护的联邦自适应框架）：利用神经网络的稀疏性来生成隐私保护的表示，并使用它们来有效地识别具有相似数据分布的客户端。基于分组结果，PFA对联邦模型进行分组的联邦学习过程，以实现自适应。...
30 分钟理解 CORB 是什么
weixin_34130389的博客
08-23 562
写在前面 前些日子在调试 bug 的时候，偶然发现这么一个警告： Cross-Origin Read Blocking (CORB) blocked cross-origin response www.chromium.org/ with MIME type text/html. See www.chromestatus.com/feature/562… for more details. 我...
Cross-Origin Read Blocking (CORB) blocked cross-origin response 问题
江先生的杂货铺
03-08 3168
Cross-Origin Read Blocking (CORB) blocked cross-origin response http://minio.xs.com/minio/default/a/111.jpg with MIME type text/html. See https://www.chromestatus.com/feature/5629709824032768 for more details.
由一个报错引发的浏览器跨域隔离探索
A_991128a的博客
02-24 2750
1.SharedArrayBuffer是用来和线程之间进行数据交换访问的高效方法，被大量应用，例如WebAssembly 就使用 Worker 模拟了多线程。SharedArrayBuffer等可以用来当作高精度的计时器，为Spectre漏洞带来了方便。2.为了降低Spectre漏洞带来的危害，SharedArrayBuffer等支持高精度时间计算的API及可能方便为spectre漏洞提供内存共享的API都需要在跨域隔离的状态下才能启用。
论文学习笔记：Privacy-preserving Cross-domain Recommendation with Federated Graph Learning
m0_57180439的博客
11-18 1509
然而，正如之前的研究]所指出的那样，这些用户内嵌信息已经编码了用户行为的隐私信息，出于对隐私的考虑，不能直接共享到域外。在本文中，我们提出了一种新颖的，据我们所知，用于隐私保护跨域推荐的联邦图学习方法( PPCDR )，以基于分布式多域数据捕获用户的偏好，并在不泄露隐私的情况下提高所有域的推荐性能。具体来说，对于每个领域，我们通过增加连接全局和本地用户节点(对应全局和本地用户偏好)的链接来构建特定领域的用户-项目交互图，如图1所示，然后设计了一种基于GNNs的联合图学习方法。
【亲测免费】 探索Cross-Domain Detection：一款强大的跨域检测工具
gitblog_00091的博客
04-20 1066
探索Cross-Domain Detection：一款强大的跨域检测工具 在Web开发中，跨域问题是一个常见的挑战，它限制了不同源之间的数据交互。为了解决这个问题，开发者Naoto0804创建了一个名为的项目，这是一个简单而实用的JavaScript库，旨在帮助开发者快速检测和处理跨域限制。 项目简介 Cross-Domain Detection 是一个轻量级的JavaScript库，它的核心功...
浅析跨域资源共享协议相关安全问题（下）
Askshhbs的博客
04-22 764
在上一篇文章中，我主要描述了，CORS是什么，CORS的工作流程，CORS漏洞产生的背景以及CORS漏洞产生的原因，在本篇中，我主要来讲述，如何挖掘CORS漏洞，如何利用CORS漏洞，以及如何修复CORS漏洞或者说避免产生CORS漏洞。 一、如何挖掘CORS漏洞？ 方式一：curl命令 curl http://victim.com/user/userinfo.php -H "Origin:https://hacker.com/" -I 如果相应包中出现下面这种组合，则说明存在CORS漏洞 .
小样本学习跨域(Cross-Domain)问题总结
m0_57656758的博客
12-06 2598
https://arxiv.org/abs/2001.08735 小样本学习跨域（Cross-domain）问题总结 - 知乎目录零·研究现状一：A CLOSER LOOK AT FEW-SHOT CLASSIFICATION实验介绍：实验设置： 实验结果：结果表明：二：A Broader Study of Cross-Domain Few-Shot Learning元学习模型测试结果：迁移学习测试结果： 结果表明：三：FEW-SHOT ACOUSTIC EVENT DETECTION VIA META L
web攻击方式 介绍
han_code的博客
05-12 1673
对于互联网上的攻击，让很多IT从业者叫苦不迭，时常一个漏洞会引发其他漏洞，导致本来看起来很小的一个失误，会引发极其严重的后果。本文旨在帮助自己和一些想了解互联网web安全防护领域的人，对常用的一些攻击方式有大概的了解，提醒自己要注意尽量规避这些错误。本文只是简单介绍一些攻击方式，并未提供原理和解决方案，后续会继续更新一些攻击的更详细介绍和解决方案，希望大家批评指正。 本文主要素材来源 CTF ...
Activate Learning for domain adaption： An Energy-Based Approach
最新发布
10-03
由于没有关于“Activate Learning for domain adaption: An Energy - Based Approach”的具体引用内容，下面结合专业知识进行介绍。 主动学习（Active Learning）是一种机器学习范式，其核心思想是让模型主动地选择最有价值的数据进行标注，从而在有限的标注数据下提高模型性能。而领域自适应（Domain Adaptation）旨在解决源领域和目标领域数据分布不一致的问题，使得在源领域训练的模型能够在目标领域上有较好的表现。 “Activate Learning for domain adaption: An Energy - Based Approach”可能是将主动学习的方法应用于领域自适应问题，并且采用了基于能量的方法。基于能量的模型通常定义一个能量函数，通过最小化能量函数来学习数据的分布。在这个研究中，可能利用能量函数来衡量数据的不确定性或者数据在不同领域间的差异，以此为依据选择最有价值的数据进行标注，进而提高领域自适应的效果。 例如，在图像识别任务中，源领域可能是标注好的公开图像数据集，目标领域是实际应用场景下的图像数据，两者的图像分布可能存在差异。通过基于能量的主动学习方法，模型可以选择那些处于领域边界、难以分类的数据进行标注，从而让模型更好地适应目标领域的分布。 ```python # 这里只是一个简单示意的代码框架，并非完整可运行代码 import torch # 定义一个简单的能量函数示例 def energy_function(data): # 这里只是简单的平方和作为能量，实际中会更复杂 energy = torch.sum(data**2) return energy # 假设有一批未标注数据 unlabeled_data = torch.randn(100, 10) energies = [] for data in unlabeled_data: energy = energy_function(data) energies.append(energy) # 选择能量最大的数据进行标注 selected_index = torch.argmax(torch.tensor(energies)) selected_data = unlabeled_data[selected_index] ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值