Domain Adaption : Cross-Domain Policy Adaptation by Capturing Representation Mismatch

最新推荐文章于 2025-09-19 15:33:46 发布
原创 最新推荐文章于 2025-09-19 15:33:46 发布 · 445 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #算法 #人工智能

ICML 2024
paper
code

Intro

强化学习中，如今实现动力学差异下的域自适应是重要研究课题。本文问题背景设定在源域和目标域之间存在动力学不匹，智能体可以获得足够的源主数据，但只能与目标域进行有限的交互。文章提出表征解耦的方法解决该问题，即只在目标域进行表征学习，源域则是利用表征后的差异作为惩罚项实现reward shaping。该过程有效的原因是策略在不同域之间的gap，是被两域表征差异upper bound。

method

表征学习部

鉴于定理 4.2 的启示，表征应该嵌入更多的目标域信息，而不是强调源域知识，这样表征偏差才能更好地代表动态变化。
在这里插入图片描述

因此，只在目标领域训练状态编码器和状态-动作编码器，
在这里插入图片描述
然后，源域的样本评估表征偏差。用计算出的偏差对源域重新进行惩罚，即将其奖励修改为：
在这里插入图片描述

价值函数优化

采用SAC的方法对二域数据优化，注意源域要进行reward shaping
在这里插入图片描述

策略优化

在线策略优化

采用SAC中优化形式：
在这里插入图片描述

离线策略优化

根据理论4.5，gap的upper bound与策略差异有关
在这里插入图片描述
，因此采用类似TD3+BC中的BC正则：
在这里插入图片描述
其中

伪代码

在这里插入图片描述

结果

在线

在这里插入图片描述

离线

在这里插入图片描述

其他

[论文笔记]LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
日积月累，天道酬勤
05-16 1930
⭐ 作者提出了LoRA，冻结了预训练模型的权重，将可训练的秩分解矩阵注入到Transformer架构的每一层中，大大减少了下游任务的可训练参数数量。同时秩分解矩阵和原始矩阵可以合并，可以不引入推理延迟。
LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of LLMs
c_cpp_csharp的专栏
04-22 306
已经提出了各种参数有效微调（PEFT）技术，以实现计算有效的微调，同时保持模型性能。然而，随着大型语言模型（LLM）的快速部署，现有的PEFT方法仍然受到越来越多的可训练参数的限制。为了应对这一挑战，我们提出了LoRETTA，这是一种超参数高效的框架，通过张量序列分解显著减少了可训练参数。具体来说，我们提出了两种方法，分别命名为LoRETTAadp和LoRETTArep。前者采用tensorized适配器，为LLM的微调提供了一种高性能但轻量级的方法。后者强调通过使用一组小张量因子的权重参数化进行微调。
出现Cross-Origin Read Blocking (CORB) blocked cross-origin response 报错解决方法
desjs7499的博客
05-10 1万+
1.错误分析 这里我调用的是qq音乐的一个接口 所有的的参数 都和qq音乐那边的保持一致。 当我 console.log所抓取数据时，查看控制台时发现了以下错误 其实禁止跨域请求是浏览器本身的一种安全策略。 2.跨域资源共享（Cross-Origin-Resource-Sharing） 跨域资源共享（CORS）机制，是为了浏览器能更为安全的处理...
Cross-Origin Read Blocking (CORB) blocked cross-origin response
热门推荐
YangzaiLeHeHe的博客
11-02 2万+
文章目录一、背景二、描述问题1、前因后果2、分析三、CORS1、 概念四、CORB1、概念2、一些概念3、说正事4、分析 一、背景 最近一直在做项目联调，由于系统对接了N个第三方厂商，于是乎扯出了一堆的跨域问题，他们是下面这样的： https域名访问http域名被浏览器禁止 接口未开放跨域能力 有一天 我看到了这个： 看不清的话看这里 Cross-Origin Read Blocking (CORB) blocked cross-origin response https://a.g.t.cn
理解 CORS 与 CORB：跨域安全的两道防线
智造编程
09-19 1019
摘要：本文对比分析了CORS（跨域资源共享）和CORB（跨域读取阻止）两种机制。CORS是W3C标准，通过服务端设置响应头允许合法跨域访问；CORB是浏览器安全增强功能，自动拦截敏感数据的意外跨域读取。关键区别在于CORS需要服务端配合，而CORB由浏览器自动执行。开发中需注意：JSONP应返回application/javascript而非JSON，避免触发CORB；CORS需正确配置响应头。理解两者差异可帮助开发者快速定位和解决跨域问题。
Cross-Origin Read Blocking (CORB)
weixin_33743880的博客
04-26 2万+
本文的开始源于落地页项目中遇到的 Chrome 控制台 warn 提示，担心影响页面渲染，特此弄个究竟。提示如下， Cross-Origin Read Blocking (CORB) blocked cross-origin response https://www.example.com/example.html with MIME type text/html. See https://www...
localhost/:12 Cross-Origin Read Blocking (CORB) blocked cross-origin response https://c.y.qq.com/v8/
朽木自雕的博客
12-05 5926
关于CORB解决报错原因： localhost/:12 Cross-Origin Read Blocking (CORB) blocked cross-origin response https://c.y.qq.com/v8/fcg-bin/v8.fcg?g_tk=976692372&inCharset=utf-8&outCharset=utf-8&notice=0&a...
论文阅读问题总结(六)：Meta-Learning with Domain Adaption for Few-shot Learning Under Domain Shift
qq_32599109的博客
03-23 826
1.这篇paper作者提出要解决的问题？ 作者提出，大部分现存的小样本元学习领域的一些工作都基于两个假设： training task和testing task都是从满足同一task distribution中采样出来的小样本数据集。 training tasks有足够的数据集提供给模型训练。 然而在真实的应用场景中，我们要解决的目标任务所在的领域并没有大量数据集用来构建training tasks(与testing task满足同一task distribution)。 2.传统的深度学习的domain
Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical Image
zjtxuebiancheng的博客
05-14 1848
@Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical Image Segmentation论文翻译 协同图像与特征自适应: 面向医学图像分割的跨模态域自适应 **摘要：**本文提出了一种新的无监督域自适应框架——协同图像与特征自适应(SIFA)，有效地解决了域位移问题。域自适应是近年来深度学习研究的一个重要和热点问题，其目的是解决神经网络应用于新的测试域时性能下降的问题。
009 PFA: Privacy-preserving Federated Adaptation for Effective Model Personalization（联邦个性化 自适应）
Uzz_yuzaizai的博客
06-28 1233
方法：提出PFA（实现隐私保护的联邦自适应框架）：利用神经网络的稀疏性来生成隐私保护的表示，并使用它们来有效地识别具有相似数据分布的客户端。基于分组结果，PFA对联邦模型进行分组的联邦学习过程，以实现自适应。...
spring解决服务端跨域问题
lyk的博客
03-04 1090
1、使用注解 @CrossOrigin 在Controller层加上**@CrossOrigin**注解即可 @RestController @CrossOrigin(origins = "*",maxAge = 1800L) public class HelloController { } 2、过滤器 package com.ivan.config; import org.springframework.context.annotation.Configuration; import or
CORS与Cross-Domain(跨域)问题的分析和解决方案!
weixin_33871366的博客
06-01 2409
为什么80%的码农都做不了架构师？>>> ...
解决chrome阻止跨域方式
qq_38148024的博客
03-11 2558
以jsonp形式跨域请求数据的时候，使用Chrome调试代码会有警告，而且拿不到跨域请求的数据，报错信息是： Cross-Origin Read Blocking (CORB) blocked cross-origin response https://www.example.com/example.html with MIME type text/html. See https://www....
百度Web服务API跨域的Cross-Origin Read Blocking (CORB) blocked cross-origin response报错两种解决方案
漏刻有时数据可视化大屏（PHP&ECHARTS智能化开源软件系统）
04-26 1万+
一、jquery方式 $(function () { var url = "http://api.map.baidu.com/place/v2/search?query=ATM机&tag=银行&region=北京&output=json&ak=F552bedbee2ec8fa6bae7b7a08201&callback...
CTF之web安全
weixin_45722313的博客
04-02 1万+
web安全 CSRF 简介 CSRF，全名 Cross Site Request Forgery，跨站请求伪造。很容易将它与 XSS 混淆，对于 CSRF，其两个关键点是跨站点的请求与请求的伪造，由于目标站无 token 或 referer 防御，导致用户的敏感操作的每一个参数都可以被攻击者获知，攻击者即可以伪造一个完全一样的请求以用户的身份达到恶意目的。 CSRF 类型 按请求类型，可分为 GE...
Activate Learning for domain adaption： An Energy-Based Approach
最新发布
10-03
由于没有关于“Activate Learning for domain adaption: An Energy - Based Approach”的具体引用内容，下面结合专业知识进行介绍。 主动学习（Active Learning）是一种机器学习范式，其核心思想是让模型主动地选择...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值