Pretrain: Learning to Act without Actions Learning to Act without Actions

最新推荐文章于 2025-12-01 19:45:15 发布
原创 最新推荐文章于 2025-12-01 19:45:15 发布 · 1.1k 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

本文介绍了一种名为LAPO的方法，它利用未标注的网络视频数据推断潜在动作和策略，通过逆动力学和前向动力学模型进行预训练，以支持在线和离线强化学习。该方法采用信息瓶颈和矢量量化技术，以提高策略表征的效率和解耦性，尽管存在延迟效应和随机性挑战。

ICLR 2024 Spotlight
paper

Intro

利用海量网络视频数据对模型预训练是提升算法效率的有效方法。然而此类数据缺乏offline下的任务动作标签，因此应用于RL困难。本文提出LAPO则是从只包含观测的演示中推断潜在动作在以及隐空间策略表现形式，为在线RL以及离线RL提供预训练的策略。

Method

Latent action representation

LAPO预训练阶段包含两个模型:逆动力学模型 P I D M ( z t ∣ o t , o t + 1 ) P_{IDM}(z_t|o_t,o_{t+1}) PIDM​(zt​∣ot​,ot+1​)和前向动力学模型 P F D M ( o t + 1 ∣ o t , z t ) P_{FDM}(o_{t+1}|o_t,z_{t}) PFDM​(ot+1​∣ot​,zt​),
在这里插入图片描述
而在实际使用中，LAPO采样一个k-steps sequence的历史数据以及下一时刻的观测预测la

最低0.47元/天 解锁文章
多智能体强化学习：Learning to Cooperate, Compete, and Communicate
weixin_41697507的博客
09-28 1567
Multiagent environments where agents compete for resources are stepping stones on the path to AGI. Multiagent environments have two useful properties: first, there is a natural curriculum—the difficulty of the environment is determined by the skill of your
近300篇机器人操作工作汇总！涵盖抓取到复杂操控的各类方法
CV_Autobot的博客
11-03 1218
点击下方卡片，关注“具身智能之心”公众号作者| 具身智能之心 编辑|具身智能之心本文只做学术分享，如有侵权，联系删文>>点击进入→具身智能之心技术交流群Robot Manipulation（机器人操控）是机器人技术中的一个关键领域，涉及机器人在物理环境中与物体的交互和操作能力。它旨在让机器人能够自主感知、规划并执行复杂的物体抓取、移动、旋转和精细操作等任务。机器人操控技术广泛应...
ALOHA论文翻译：Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware
机器学习实战
01-16 3968
斯坦福ALOHA、ACT算法
一文通透ACT——斯坦福ALOHA团队推出的动作分块算法：基于CVAE一次生成K个动作且做时间集成
热门推荐
结构之法 算法之道
01-08 4万+
根据上一篇文章《大模型机器人发展史：从VoxPoser、RT2到斯坦福Mobile ALOHA、Google机器人》可知，斯坦福Mobile ALOHA在其发布的论文中提到相当于Mobile ALOHA涉及到了这三大关键技术：ACT、Diffusion Policy、VINN，故本文分三个部分一一阐述。
LLMs：《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-10 1415
​ LLMs：《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》翻译与解读 目录 《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》翻译与解读 Abstract 1、Introduction引言 7、Limitations限制 8、Conclusions结论 《Orca: Progressive Learnin
Seeing without knowing: Limitations of the transparency ideal and its application to algorithmi
weixin_42786150的博客
02-27 1421
Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability
Introduction to Learning to Trade with Reinforcement Learning
weixin_30480075的博客
03-25 566
The academic Deep Learning research community has largely stayed away from the financial markets. Maybe that’s because the finance industry has a bad reputation, the problem doesn’t seem interesting f...
[转]Introduction to Learning to Trade with Reinforcement Learning
weixin_34008933的博客
07-22 699
Introduction to Learning to Trade with Reinforcement Learning http://www.wildml.com/2018/02/introduction-to-learning-to-trade-with-reinforcement-learning/ Thanks a lot to @aerinykim, @suzatweet an...
论文阅读：Why Can’t I Dance in the Mall Learning to Mitigate Scene Bias in Action Recognition
qq_36627158的博客
01-26 584
目录 Background How To Do 网络的整体框架 Result Question（Things To Do） 论文下载地址：https://arxiv.org/abs/1912.05534 code：https://github.com/vt-vl-lab/SDN project website：http://chengao.vision/SDN/ Background 作者意识到进行 Action Recognition 的 CNN...
Cloud-based Machine Learning Model Management: How to Efficiently Supervise Your AI Assets
Overview of Cloud-based Machine Learning Model Management ## 1.1 The Rise of Cloud-based Machine Learning Model Management With the rapid development and widespread adoption of cloud computing ...
From Prediction to Prevention: Improving Transportation
AI天才研究院
09-22 2013
作者：禅与计算机程序设计艺术Traffic management systems (TMS) play a crucial role in improving transportation security by preventing collisions and traffic congestion. TMS solutions use various techniques such as route planning, real-time traffic information monitoring,
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1302
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1843
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1258
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
Trb201013的博客
11-27 1550
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 907
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
昇腾平台 vLLM 部署与性能优化实战：高吞吐推理落地指南
最新发布
二哈喇子！
12-01 5931
昇腾平台vLLM部署与性能优化实战摘要
卫星遥感落地林草监测：多源数据融合+AI算法
okk202586的博客
11-27 658
全面完善昌吉州林草资源网络感知体系，建立全州林草资源一体化综合管理平台，全面加强林草安全防火监测预警、有害生物防治信息化、林草资源监管能力，实现林草资源、安全防火、有害生物防控、林长制监督管理等。在不同区域、不同场景下的落地能力，案例可以充分说明，智慧林草并非单纯的技术堆砌，而是真正贴合林草业务流程、解决实际问题的“实战型”方案，太空守护林海正在变成可能~根据林草业务需要，建设林长制、资源监管、生态保护、生态修复、灾害防护、科技创新等六类业务系统，构建智慧林草综合监管业务系统体系，全面支撑林草业务。
【人工智能】【深度学习】 ② GAN核心算法介绍：生成器与判别器的博弈艺术
xiezhiyi007的专栏
11-27 1004
本文为【人工智能】【深度学习】系列第②篇，深入浅出讲解生成对抗网络（GAN）的核心原理。从“造假者 vs 警察”的大白话比喻出发，逐步推导极小极大博弈公式，详解生成器与判别器的对抗机制，并对比 CNN、RNN 的本质差异。附带完整 PyTorch 代码实现（逐行注释），涵盖 DCGAN 架构、训练流程与工程技巧，适合零基础读者入门生成式 AI。结尾预告下一期 Transformer 主题，延续系统化学习路线。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值