余潇、-优快云博客

转载自然语言处理Transformer模型

经过6个Encoder个层堆叠后，最后一层的输出就是整个Encoder的输出，输出的维度为【词个数，嵌入向量维度】，也就是和Z一样的形状。Decoder结构上图为Transformer中的Decoder结构，和Encoder是差不多的每个Decoder Block有两个Multi-Head Attention层第一个Multi-Head Attention层采用了Masked操作。

2024-12-06 17:11:32 1521

具体理解见此篇优快云文章原文链接：https://blog.youkuaiyun.com/m0_47256162/article/details/127339899编码器词嵌入、位置编码、自注意力、残差连接这四个特性使得transformer能够将单词编码为数字、解码器总结：1、使用词嵌入将单词转化为数字2、位置编码来跟踪单词顺序3、自注意力跟踪输入和输出短语中的单词关系4、编码器解码器注意力跟踪输入和输出短语之间的关系，确保输入中的重要单词在翻译中不会丢失。

2024-12-06 17:06:50 737

原创深度学习Resnet残差网络

残差网络的核心思想是：每个附加层都应该更容易地包含原始函数作为其元素之一。的冠军，并深刻影响了后来深度神经网络的设计。的不同，可以得到不同的ResNet架构，，它直接将输入加在了叠加层的输出上面。左边是ResNet的第一种实现。右侧为Resnet网络。

2024-12-04 21:22:26 2127

原创逐行解读ACT实现

PRNG 生成的序列不是真正的随机序列，因为它完全由一个初始值决定，称为 PRNG 的种子（可能包括真正的随机值）。为了能够完全复现作者的开源深度学习代码，随机种子的选择能够减少一定程度上，算法结果的随机性，也就是更接近于原始作者的结果，即产生随机种子意味着每次运行实验，产生的随机数都是相同的。eval是Python的一个内置函数，这个函数的作用是，返回传入字符串的表达式的结果。想象一下变量赋值时，将等号右边的表达式写成字符串的格式，将这个字符串作为eval的参数，eval的返回值就是这个表达式的结果。

2024-12-04 21:20:28 915

原创达妙DM-MC-Board02开发板STM32H7 接收大疆DT7遥控器数据开源

遥控器和 stm32 之间采用 DBUS 协议进行通讯。DBUS 通讯协议和串口类似，DBUS 的传输速率为 100k bit/s，数据长度为 8 位，奇偶校验位为偶校验，结束位 1 位。需要注意的是DBUS 使用的电平标准和串口是相反的，在 DBUS 协议中高电平表示 0，低电平表示 1，如果使用串口进行接收需要在接收电路上添加一个反相器。使用 DBUS 接收遥控器的数据，一帧数据的长度为 18 字节，一共 144 位

2024-12-02 16:11:13 2519

原创 ACT算法原理二

强大的特征提取能力：利用Transformer的多头注意力机制，可以对输入的视觉信息（如RGB图像）和机器人自身的关节位置信息等多模态数据进行加权处理，突出重要的特征，同时能够捕捉到不同部分之间的长距离依赖关系和复杂的交互信息，从而更全面、准确地理解机器人所处的环境和自身状态。它可以对信息进行非线性的变换，增强模型的表达能力，提取更高级的特征。- **模型转换（如果需要）**：如果你的模型是在训练环境中使用特定的框架和格式训练得到的，而在部署环境中需要使用不同的框架或格式，那么你需要进行模型转换。

2024-12-02 15:58:23 2278

原创 ACT算法原理学习

通过另一个线性层linear layer1，把k × 14的action sequence投影到嵌入维度的动作序列(k × 14维到k × 512维)因此，通过动作分块，策略在给定当前观测的情况下输出一个k ×14张量(每个动作都被定义为一个14维的向量，所以k个动作自然便是一个k ×14张量)其次，对所有4张图像重复此操作，得到一个4 × 300 × 512，即1200 ×512维度的特征序列。输出：动作空间是两个机器人的绝对关节位置，一个14维向量。[CLS]token，它由随机初始化的学习权值组成。

2024-12-02 15:53:46 1245

原创 Mobile ALOHA项目 ACT算法学习

Aloha使用ResNet图像编码器、transformer encoder，和transformer decoder来实现CVAE解码器，直观地其中的transformer编码器综合了来自不同相机视角、关节位置和风格变量的信息。为了以一种与像素到动作策略兼容的方式来解决模仿学习中的复合错误，寻求减少高频收集的长轨迹的有效视域。上图左侧的CVAE 编码器(采用transformer编码器实现)，其预测风格变量 z 的分布的均值和方差，该分布被参数化为对角高斯分布。，以生成以当前观察为条件的动作序列。

2024-12-02 15:52:09 940

原创 Python 基础学习

round(数)就是比如：round(2.6)=3，就是说取值（）里的数字四舍五入后的整数部分；字符串方法，官方文档使用，函数默认值 P8 - 15:48 实现自己不知道的功能。值类型变量与引用类型变量 P12 - 04:03 画图讲解值类型和引用类型变量。引用类型：列表、元组、字典、字符串和set(集合)字符串方法，官方文档使用，函数默认值 P8 - 07:20 使用文档使用。字符串方法，官方文档使用，函数默认值 P8 - 00:08 字符串方法。键值对，键必须是字符串，冒号后的可以任何类型。

2024-11-05 16:12:02 582

原创 Mobile Aloha 开源代码复现

它提供了在机器人操作领域收集的广泛的演示数据集，以及从这些数据集学习的学习算法。要评估策略，运行相同的命令，但要添加--eval，这将加载最佳验证检查点。sim_transfer_cube的成功率约为90%，insertion成功率约为50%。对于难以建模的真实世界数据，在损失趋于平稳后，至少训练5000次或3-4倍的时间。DATA_DIR是存放数据集的位置，每个子文件夹对应着训练的子任务，名字一一对应。pytorch需要单独安装，保证安装的是gpu版本，根据自己的cuda版本在。具体配置参考这两篇文章。

2024-10-27 19:21:14 3102 1

原创 ALOHA环境配置遇到的问题及解决办法

按照这个教程下载anaconda，它是一个管理不同python版本的工具，创建虚拟空间的时候也会用到它（.conda）使用阿里云源这条语句加上了--trusted-host mirrors.aliyun.com。第一步 conda create -n aloha python -3.8.10。解决办法：开管理员权限打开Anaconda Prompt。环境配置视频教程创建虚拟环境。配置python环境。

2024-10-26 19:36:13 2087

2301_79950977的博客