slam学习笔记2024.11.14_深度相机建图-优快云博客

本文链接：https://blog.youkuaiyun.com/2301_76866200/article/details/143771525

一、DepthImage to LaserScan

"DepthImage to LaserScan" 数据转化是指将深度图像（Depth Image）转换为激光扫描数据（LaserScan）的过程。通常，在机器人视觉系统中，深度图像和激光扫描数据都用于感知环境，但它们的形式不同：

1. **深度图像 (Depth Image)**：这是一种图像，其中每个像素的值表示从相机到场景中某个点的距离。深度图像通常由深度传感器（例如RGB-D相机或激光雷达）生成，能提供场景的三维信息。

2. **激光扫描 (LaserScan)**：这是一种通过激光雷达（LiDAR）或激光传感器获取的距离数据。激光扫描数据通常包含一系列从传感器到环境中不同点的距离值，通常按照一定角度的间隔排列。这些数据通常以角度-距离的方式表示。

### 转换过程的目的
将深度图像转换为激光扫描数据的目的通常是为了让机器人能够使用激光雷达的数据格式进行进一步的处理或决策，而深度图像在某些场景下更易于获得或已经由其他传感器采集。

### 转换的原理
1. **深度图像**中的每个像素值表示相机到物体表面的一定距离，但并没有明确的角度信息。
2. 要将其转换为**激光扫描数据**，需要：
- 根据深度图像的像素位置，推算出相应的角度信息（通常需要知道相机的内参，例如焦距、视场角等）。
- 通过相机的视场角和深度值，计算每个像素对应的激光扫描角度和距离。
- 将这些角度和距离数据组合成标准的LaserScan格式。

### 应用场景
1. **机器人导航**：某些机器人系统（如ROS）可能需要激光扫描数据来进行地图构建、路径规划等任务，而传感器系统可能同时具备深度相机和激光雷达。在这种情况下，将深度图像转换为激光扫描数据可以让机器人在没有激光雷达的情况下，仍然使用激光扫描数据来执行任务。

2. **增强感知**：深度图像的获取可能更便宜且更易于部署，因此将其转化为激光扫描数据可以提高机器人的感知能力，尤其是在室内环境中。

总的来说，"DepthImage to LaserScan" 数据转化就是将深度相机获取的图像数据转化为与激光雷达扫描数据相似的格式，以便可以在需要激光扫描数据的应用场景中使用。

二、ROS

ROS 是用于创建机器人应用程序的软件框架，它采用分布式多进程架构来实现模块间的消息通信，解决信息传递过程中数据易丢失、消息延迟发送的问题。ROS 中提供了一种分布式框架，通过点对点的设计可以让机器人分布执行各自的进程，独自管理各自的模块，各个模块又能进行组合，当一个模块受到影响时，其他模块并不会受到干扰，这样极大的提高了系统的容错能力，并且分布式架构可扩展行强，当需要更好的硬件时，只需要修改节点信息即可，这样可以很好的满足开发者的需求。

ROS 的系统架构包括设计者、维护者、系统架构与自身结构四个方面，对设计者来说，ROS通过利用软件工具包来对软件进行调试和开发，对维护者而言，ROS可以划分为核心部分和全球通用代码框架两部分，前者用于提供开发所需的核心工具以及ROS核心程序的编写，后者用于提供通用的代码，方便不同国家的研究者进行开发。就系统架构而言，ROS又可以分为OS层、中间层、应用层，其中OS层一般是Linux系统，给系统提供驱动，中间层则将OS层的接口封装，应用层可以调用封装的接口来实现所需功能；自身结构也可以分为三层，分别是文件系统、计算图、开源系统。

如图2-1所示即为一张计算图，从图中可以看出，ROS系统是通过点对点的模式来进行数据间的通信，这些点包含节点、服务、消息、话题等意义。其中节点为ROS中执行程序的基本单位，节点之间可以通过订阅消息或者发布话题来通信。

节点也叫进程，代表一个程序的执行过程。图2-1所示的节点1、节点2、节点3等分别代表三个不同的进程，当我们启动需要执行的程序，ROS功能包就会将程序加载到系统的进程上，这样一个节点就产生了。不同进程间通过消息进行通信，其中消息通信又分为话题通信、动作通信、服务通信，图2-1中的节点2与节点4、节点2与节点5采用话题通信，节点2与节点3采用服务通信，节点1与节点2采用动作通信。在ROS系统中，我们可以订阅不同节点，发布不同的消息来对无人车进行定位和自主导航。

图2-2 为ROS文件系统架构图，我们可以创建一个工作空间用来对自主导航功能进行开发，工作空间下又有三个文件夹，分别为src、build和devel。src 又叫源空间文件，由开发者自己创建，主要用来放置开发功能包和配置文件。build 又叫编译空间，需要在终端执行catkin_make创建，这个文件夹主要存放catkin 的缓存信息、配置信息和其他中间件，catkin是ROS特有的编译构建系统，ROS 的所有工作代码均存放在catkin的工作空间中。devel是开发空间，主要用来放置编译后的可执行程

三、ROS与内置工控机如何连接

**ROS（Robot Operating System）** 是通过与内置工控机建立连接来接收和处理各种传感器数据，并进行通信的。具体来说，ROS可以运行在内置工控机的操作系统上（如你提到的 Ubuntu 18.04 系统），并通过工控机与无人车的网络交换机进行通信，从而实现与无人车系统的连接和数据交换。

### 详细解释：

1. **内置工控机与 ROS 系统**：
- **内置工控机**（通常是嵌入式计算机或工业计算机）是无人车的核心计算单元，负责执行各类任务，例如接收传感器数据、处理数据、运行控制算法等。
- **Ubuntu 18.04** 系统是这个工控机上安装的操作系统，ROS（例如 ROS 1 或 ROS 2）作为一个机器人操作系统，通常会安装在这个操作系统上来实现对硬件的控制、数据采集、数据处理以及与其他系统的通信。

2. **ROS 与传感器的数据处理**：
- ROS 提供了许多软件包和工具来处理各种传感器数据，包括激光雷达（LiDAR）、相机、IMU（惯性测量单元）、GPS 等。
- 这些传感器通过不同的接口（例如串口、USB、以太网等）连接到内置工控机。
- ROS 使用 **节点（Nodes）** 来处理这些数据。每个节点负责从某个传感器接收数据，进行处理并将结果发布到 ROS 网络中，或者将数据发送到其他节点以供进一步处理。

3. **ROS 和网络交换机的通信**：
- 无人车通常使用 **以太网** 或 **Wi-Fi** 网络交换机来连接不同的计算单元（如内置工控机、传感器、其他计算机等）。
- **ROS通信机制**：ROS的通信方式包括 **发布/订阅模式（Publish/Subscribe）** 和 **服务/客户端模式（Service/Client）**。这些通信机制依赖于 ROS 运行时的消息传递功能。
- **发布/订阅**：传感器的数据会作为消息发布（publish）到一个话题（topic）上，其他节点可以订阅（subscribe）该话题来接收数据。
- **服务/客户端**：某些操作可能需要请求和响应的通信模式，例如对特定服务的调用（如控制某个硬件设备或请求某个计算结果）。
- **以太网与交换机**：在机器人或无人车系统中，多个计算单元（如内置工控机、传感器、远程计算设备等）通常通过以太网连接，网络交换机用来路由不同计算机之间的数据流。ROS节点之间的数据交换则是通过局域网（LAN）进行的，ROS会自动通过网络发现其他节点。

4. **内置工控机作为 ROS 主机**：
- 工控机一般作为 **ROS Master** 节点，管理和协调其他 ROS 节点的通信。
- 其他节点（例如传感器数据处理节点、控制节点等）连接到 ROS Master 上，进行数据交换和协作。

### 总结：
ROS系统通过在内置工控机上运行，在该工控机和其他硬件（如传感器、执行器）之间建立通信。通过与网络交换机连接，ROS系统能够与无人车的其他计算单元进行数据交换，从而完成数据采集、处理和控制任务。因此，ROS系统与内置工控机之间的连接至关重要，所有的感知、决策和控制工作都会依赖这个连接进行数据传输和任务执行。

四、RTK

**RTK**（Real-Time Kinematic，实时动态定位）是一种高精度的全球定位系统（GPS）技术，主要用于提供比传统GPS更高精度的定位服务。RTK的定位精度通常可以达到厘米级，而普通GPS的精度通常只有米级。RTK技术广泛应用于需要高精度位置数据的领域，如无人驾驶、地理测绘、农业、建筑和航天等。

### RTK工作原理

RTK通过使用两台或多台GPS接收器和一个基准站来实现高精度定位。其基本原理是通过对GPS信号中的误差进行实时修正，来减少因大气、电离层、卫星轨道误差等因素导致的定位误差。

1. **基准站**：RTK系统的核心是一个固定位置的基准站，通常是已知的精确坐标。基准站接收来自GPS卫星的信号，并计算出自己的实际位置与计算位置之间的差异。这些差异是由于大气、卫星轨道等因素造成的误差，基准站通过这些误差信息来生成修正数据。

2. **移动站**：移动站是安装在需要进行高精度定位的设备上的GPS接收器，例如无人机、机器人、车辆等。移动站实时接收来自卫星的信号，并将其发送给基准站或RTK服务器。

3. **修正数据传输**：基准站通过无线电、互联网或其他通信方式，将其计算出的误差信息（修正数据）实时传送给移动站。移动站接收到修正数据后，会将其应用于自身的GPS信号，从而获得一个更精确的位置。

4. **实时精确定位**：在接收到修正数据后，移动站根据改正后的信号计算出自己的精确位置，精度通常可以达到厘米级，而传统GPS定位精度大约在1-3米之间。

### RTK的关键优势

1. **高精度**：RTK可以提供厘米级的定位精度，这对于需要非常精确定位的应用非常重要，如无人机飞行、精密农业、测绘等。

2. **实时性**：RTK系统提供的是实时定位修正，因此能够在动态环境下保持高精度定位，避免了传统GPS需要后处理的时间延迟。

3. **误差校正**：RTK能够有效地减少由大气、信号延迟等因素造成的误差，极大提高了定位的准确性。

### RTK的局限性

1. **基站依赖性**：RTK需要一个固定的基准站或多个基准站来进行误差修正，因此，基准站的数量和分布影响着系统的性能。在一些偏远地区或没有基站覆盖的地方，RTK的使用受到限制。

2. **通信要求**：RTK系统依赖于高质量的实时数据通信链路（如无线电、移动网络等）来传输修正数据，因此通信的稳定性和带宽也直接影响RTK系统的效果。如果信号丢失或通信不畅，RTK的精度可能下降。

3. **高成本**：由于需要高精度的硬件设备和稳定的通信基础设施，RTK系统通常比普通GPS设备更昂贵。

### RTK的应用

RTK广泛应用于需要高精度定位的领域，典型的应用场景包括：

- **无人驾驶**：用于精确定位汽车或无人机的位置，支持路径规划、障碍物检测等任务。
- **测绘和地理信息系统（GIS）**：在地图制作和土地测量中，RTK可以提供高精度的地理坐标数据。
- **农业**：在精准农业中，RTK用于自动化机械的导航，例如自动播种、施肥和收割等。
- **建筑与施工**：RTK技术可以用来进行建筑物位置标定、工地测量等。
- **航天**：RTK在航天应用中可以用于精确跟踪和定位航天器。

总的来说，RTK技术通过提供实时高精度的定位数据，在许多领域中发挥着重要作用，尤其是那些要求精密定位的任务。

五、CAN总线

**CAN总线**（Controller Area Network）是一种用于车载和工业设备通信的多主机串行通信协议，广泛应用于汽车、机器人、自动化设备等领域。它由德国博世公司于1980年代开发，旨在解决车辆中多个电子控制单元（ECU）之间的通信问题。

### CAN总线的主要特点

1. **高可靠性**：
- CAN总线设计用于在恶劣的环境中运行，具有强大的抗干扰能力和错误检测机制，确保数据传输的可靠性。

2. **多主机通信**：
- CAN总线支持多主机架构，允许多个设备（如传感器、控制器等）通过同一总线进行通信，不需要中心控制器，所有节点都可以发送和接收数据。

3. **实时性**：
- CAN总线支持优先级机制，确保高优先级的消息能够及时传输，适用于需要实时数据传输的应用场景。

4. **差分信号**：
- CAN总线使用差分信号传输（即两条信号线传输相反的电流信号），这使得它在电磁干扰较大的环境下也能保证较高的数据传输稳定性。

5. **错误检测与校正**：
- CAN总线协议内置了多种错误检测和处理机制（如CRC校验、帧校验、位填充等），确保数据传输中的错误能够被及时发现和纠正。

### CAN总线工作原理

- **消息传递**：CAN总线使用的是**非破坏性竞争访问**（Non-destructive Arbitration），即当多个节点同时发送数据时，总线会自动选择优先级较高的消息传输。

- **帧结构**：CAN总线通信中的每条消息被封装成**数据帧**。每个数据帧包括起始位、标识符、数据字段、校验码等，确保数据传输的完整性和正确性。

- **位定时**：CAN协议使用精确的时间同步和定时机制，以保证多节点间的通信同步。

### CAN总线的应用

1. **汽车电子**：
- CAN总线最初就是为汽车设计的，广泛用于连接汽车中的多个电子控制单元（ECU）。例如，发动机控制、车身控制、空调系统、车载娱乐系统等都可能通过CAN总线进行通信。

2. **工业自动化**：
- 在工厂自动化和工业控制中，CAN总线用于连接各类设备（如传感器、执行器、PLC等），实现数据采集、控制和监测。

3. **机器人**：
- 机器人系统中，CAN总线用于实现机器人各个部分（如电机、传感器、控制系统）之间的实时数据交换和协调控制。

4. **农业机械**：
- 现代农业设备，如自动驾驶拖拉机、联合收割机等，也使用CAN总线进行设备之间的通信和数据共享。

### CAN总线的优点

- **高效的通信**：CAN总线支持高速数据传输，且能在多个设备之间高效地共享信息。
- **简化布线**：通过一条总线可以连接多个节点，减少了复杂的布线系统，降低了成本。
- **高可靠性**：适用于恶劣环境（如汽车、电气设备等），具有强大的抗干扰能力和故障诊断能力。

### 总结

CAN总线是一种高度可靠、实时性强的通信协议，广泛应用于汽车电子、工业控制、机器人和其他嵌入式系统中。它通过多主机、差分信号和强大的错误检测机制，提供了一个稳定、有效的通信平台，适应了现代复杂系统对实时性和可靠性的需求。

六、里程计和惯性测量单元

**里程计（Odometer）**和**惯性测量单元（IMU，Inertial Measurement Unit）**都是自动驾驶系统中常用的传感器，用于帮助车辆确定其位置、速度和方向，但它们的工作原理和应用场景有所不同。下面是对它们的详细解释及两者之间的区别：

### 1. **里程计（Odometer）**

**里程计**是一种用于测量车辆行驶距离的设备，常见于车辆上。它通常通过测量轮子的转动来估算车辆的位移。

#### 主要作用：
- **测量距离**：里程计通过测量车轮转动的数量或车轮的旋转角度来估算车辆行驶的总距离或当前位置。常见的里程计通过记录车轮的旋转来推算出车辆的行驶里程。

- **辅助定位**：在自动驾驶中，里程计通常用来估算车辆在某段路径上的移动量，辅助进行位置估算和路径跟踪。它常常与其他传感器（如IMU、GPS等）结合使用，提供更加精确的定位信息。

#### 工作原理：
里程计依赖于测量车轮转动的次数和每次转动的距离来计算车辆的位移。这可以通过**光电传感器**、**编码器**、**磁传感器**等方式实现。

#### 优点：
- **高精度短时间内的测量**：在较短的时间内，里程计能够提供准确的位移信息，尤其是在已知车辆速度和轮胎尺寸的情况下。

- **无需依赖外部信号**：不像GPS那样依赖卫星信号，里程计可以在GPS信号不良的环境（如隧道、地下停车场等）中使用。

#### 缺点：
- **轮胎滑移误差**：由于路面不平或轮胎磨损等因素，车轮的实际转动可能与计算值有所偏差，导致里程计数据不准确。
- **无法提供方向信息**：里程计只能提供位移（距离），但无法单独确定方向，通常需要与其他传感器（如IMU）结合使用来提供方向信息。

### 2. **惯性测量单元（IMU）**

**IMU**是用于测量和记录物体的加速度和角速度的设备，广泛应用于自动驾驶和航天领域。它由多个传感器组成，包括**加速度计**、**陀螺仪**和有时的**磁力计**。

#### 主要作用：
- **测量加速度和角速度**：IMU能够实时测量车辆的加速度（前后、上下、左右方向）和角速度（旋转角度的变化率），并由此推算出车辆的速度、位移和姿态变化（方向）。

- **辅助定位和姿态估计**：IMU可以提供车辆的即时运动信息，尤其是在GPS信号不稳定或不可用的环境中（如隧道、城市峡谷等）。IMU可以补充和校正GPS或其他定位系统的不足，增强车辆的定位精度。

#### 工作原理：
IMU通过内置的加速度计和陀螺仪实时测量车辆的加速度和旋转速率。加速度计用于测量车辆在三维空间中的加速度，而陀螺仪则用来测量车辆的角速度，结合这些数据可以推算出车辆的速度、位置和朝向（姿态）。

#### 优点：
- **高精度短时间内的位置和姿态估计**：IMU可以实时提供车辆的方向、加速度和速度变化，能够提供非常精确的动态数据。

- **不依赖外部信号**：IMU完全依赖于内建的传感器工作，不依赖于GPS或其他外部信号，非常适用于GPS信号弱或无信号的环境。

#### 缺点：
- **累积误差**：IMU的一个主要问题是“漂移”现象，即长时间使用后，误差会积累，导致位置信息的偏差。这就是为什么IMU需要与其他定位系统（如GPS、里程计）结合使用来校正和限制误差。

### 3. **里程计和IMU的区别**

### 总结

- **里程计**主要用于测量车辆的行驶距离，它通过监测车轮的转动来推算出车辆行驶的距离，适合于短时间的位移测量。它通常不会提供方向信息，也容易受轮胎滑移等因素的影响，因此需要与其他传感器（如IMU、GPS）结合使用。

- **IMU**通过加速度计和陀螺仪提供加速度、速度、角速度以及姿态（方向）信息，适用于动态场景中的实时定位和姿态估计。IMU的缺点是随着时间的推移可能会出现累积误差，因此也需要其他系统（如里程计、GPS）来进行补偿和校正。

在自动驾驶系统中，**里程计**和**IMU**通常被结合使用，以提供更精确的车辆定位和路径规划，特别是在GPS信号受限的情况下。

七、RViz

**RViz**（Robot Visualization）是一个广泛用于**ROS**（Robot Operating System，机器人操作系统）中的3D可视化工具。它主要用于显示和调试机器人状态、传感器数据、运动轨迹、路径规划结果等，以帮助开发者和工程师在开发和测试机器人系统时更直观地理解和分析机器人的行为和环境。

### RViz的主要功能

1. **传感器数据可视化**：
- RViz能够显示来自机器人各种传感器（如激光雷达、相机、IMU、GPS、里程计等）的数据。例如，可以在RViz中查看来自激光雷达的点云、相机的图像、IMU的姿态数据等。
- 对于激光雷达，RViz可以将传感器数据以激光扫描图、点云或深度图的形式展示，帮助开发者更好地理解传感器对环境的感知。

2. **机器人状态和模型显示**：
- RViz能够显示机器人的3D模型（通常基于URDF文件），展示机器人在环境中的姿态和位置。这对于调试机器人在空间中的移动非常有帮助。
- 它还可以显示机器人的各种状态信息，比如关节角度、传感器状态、控制命令等。

3. **路径规划和导航**：
- 在使用ROS的导航栈时，RViz可以用来显示机器人的规划路径、目标点、地图、障碍物和机器人的当前轨迹。这对于调试路径规划、定位和导航算法至关重要。
- 它支持显示由**MoveBase**等工具生成的路径，帮助开发者分析机器人在复杂环境中的运动规划是否合理。

4. **坐标轴和标记**：
- RViz允许用户显示坐标轴和参考框架，帮助调试和理解机器人在不同坐标系下的运动。比如显示世界坐标系、相机坐标系和机器人的局部坐标系。

5. **实时数据更新**：
- RViz能够实时从ROS的各个节点接收数据流，动态更新显示内容。这使得开发者可以在机器人运行过程中直接观察数据和算法的效果。

6. **交互式控制**：
- RViz提供了一些交互工具，可以允许用户控制机器人移动，选择目标位置或目标姿态。开发者可以通过图形界面手动设置目标并观察机器人如何响应。
- 还可以通过“2D Nav Goal”工具设置机器人的目标位置和方向。

### RViz的界面和显示元素

- **3D视图窗口**：显示机器人、环境、传感器数据等的三维场景。用户可以旋转、平移、缩放视图以更好地观察场景。
- **显示面板**：左侧通常是显示面板，列出了当前可见的所有对象（如传感器数据、路径、机器人模型等），每个对象可以单独开关、调整参数或修改显示方式。
- **工具栏**：用于选择不同的工具（如2D目标选择、区域标记、数据采集等），帮助用户交互式地控制和分析场景。

### 常见的RViz显示插件

RViz支持多种插件，用户可以根据需求加载不同类型的数据和视图，以下是一些常见的插件：

- **LaserScan**：显示激光雷达的激光扫描数据，通常呈现为一组点或线段。
- **PointCloud2**：显示来自激光雷达、深度相机或其他传感器的点云数据。
- **RobotModel**：显示机器人本身的三维模型，通常基于URDF文件定义，展示机器人的关节和构件。
- **Path**：显示机器人计划或实际执行的路径。
- **Map**：显示机器人当前的地图或全局地图，通常由SLAM或其他建图技术生成。
- **Odometry**：显示机器人的位移、位置和姿态估计，帮助调试里程计和定位系统。
- **TF**：显示不同坐标系之间的转换关系，帮助开发者理解机器人各部分之间的位置关系。

### RViz的应用场景

1. **机器人开发与调试**：
- 开发者可以在RViz中实时查看传感器数据，调试路径规划和导航算法，确保机器人按照预期的方式进行运动。

2. **可视化路径规划**：
- 在开发自动驾驶或导航系统时，RViz可以帮助开发者看到机器人的目标路径和障碍物，确保规划算法的正确性。

3. **SLAM和建图**：
- 使用SLAM（同步定位与建图）算法时，RViz可以显示构建的地图，以及机器人在地图上的位置。这对调试SLAM算法、优化地图和定位非常有帮助。

4. **传感器数据分析**：
- RViz可以用来展示多种传感器的数据，并且可以与其他工具（如RQT、rqt_plot等）结合，分析数据质量和传感器输出的准确性。

5. **教育和演示**：
- RViz的图形界面非常适合教学和演示，帮助初学者理解机器人系统和算法的工作原理。

### 总结

RViz是一个功能强大的可视化工具，专为ROS（机器人操作系统）开发的机器人系统设计。它支持丰富的传感器数据展示、实时交互、路径规划可视化等，帮助开发者进行机器人状态监测、调试和优化。通过RViz，开发者能够实时了解机器人在复杂环境中的行为表现，确保系统的稳定性和性能。