深度学习17-机器人技术中的强化学习

### 机器人技术中的强化学习

▪  这是尝试超越模拟环境进军物理世界的唯一章节。
▪  在本章中，将使用易于获得且价格便宜的组件构建一个小型机器人，并使用RL方法对其进行控制。

#### 机器人与机器人学

▪  具有两种状态（打开和关闭）的简单按钮：在简单情况下检测与对象的物理接触时，这会是一种非常流行的解决方案。例如，3D打印机通常具有所谓的挡块，挡块只是在运动部件达到某些边界限制时触发的按钮。发生这种情况时，内部软件（也称为固件）会对此事件做出反应，例如，停止发动机。
▪  距离传感器：这些距离传感器使用声波或激光测量前方物体到传感器的距离。例如，扫地机器人通常具有“悬崖探测器”，以防止自己掉下楼梯。这只是一个激光距离传感器，可测量到机器人下方地板的距离。如果该距离突然变大，则机器人会知道前进是危险的，从而做出适当的反应。
▪  光学雷达（LiDAR）传感器：这是距离传感器的更复杂和更昂贵的版本，不同之处在于传感器会旋转，因此会不断在水平面上扫描物体。传感器的输出是由一个个点构成的流（所谓的“点云”），显示了机器人与周围障碍物的距离。LiDAR在自动驾驶汽车中非常流行，因为它们提供了有关障碍物的可靠信息流，但是由于复杂的机械结构和光学结构，它们非常昂贵。
▪  摄像头：此类传感器以与现代智能手机相同的方式用流传输视频，但是流通常必须由机器人的软件进行处理以检测诸如拐角或猫之类的物体。视频处理的计算量非常巨大，因此必须使用专用硬件，例如嵌入式图形处理单元或其他神经网络加速器。好消息是，摄像头的价格可能非常便宜，并且可以提供外界的丰富信息流。
▪  物理传感器：此类别包括加速度测量计、数字陀螺仪、磁力计、压力传感器、温度计等。它们测量机器人周围世界的物理参数，通常非常紧凑、便宜且易于使用。通常，所有细节和复杂性都隐藏在小小的芯片中，使用某种通信协议以数字形式提供测量结果。这种传感器在业余爱好者中非常流行，并且可以在各种各样的玩具、电子消费产品和DIY项目中找到。例如，无人机可以使用压力传感器测量高度，使用磁力计确定水平方向，并使用GPS接收器定位自身。

从宏观来看，机器