类脑传感器:动态视觉相机(Dynamic Vision Sensor)和动态音频传感器(Dynamic Audio Sensor)

本文介绍了动态视觉相机(DVS)和动态音频传感器(DAS)的发展历程,这两种基于事件感知的传感器如何突破传统相机的限制,提供高动态范围、无运动模糊和超低功耗的优势,广泛应用于视觉、声音信号处理,以及自动驾驶、无人机导航等场景。

动态视觉相机

一点点发展史

动态视觉相机 Dynamic Vision Sensor(DVS),有时候也称作事件相机(Event camera)或者硅视网膜(Silicon Retina)。 提到DVS的起源就要追溯到它的发明者Misha Mahowald。 Misha师从类脑工程领域的提出者Caver mead大神(Carver mead 同时还是是VLSI电路设计的大牛级别人物, 同时还被认为是摩尔定律的命名者), 在博士期间她和Tobi Delbruck创举性的结合生物学计算机科学和电气工程领域创建了第一个硅视网膜系统。这也是最早的动态视觉相机的原型。之后她和Tobi Delbruck还有几位现在的类脑技术大牛们一起将技术带到了在苏黎世并和苏黎世联邦理工大学、苏黎世大学联合创办了INI神经信息研究所(Institute of Neuroinformatics), 专注于研究神经科学, 神经形态相关的技术, 其中硅视网膜就是其中重要的一项技术, 并于1996年Misha因为这一非凡的工程案例成为国际科技女性(WITI)名人堂成员, 遗憾的是Misha在33岁结束了自己年轻的生命。
在这里插入图片描述
但是硅电子视网膜的技术的发展并没有因为Misha的离开而停滞, 反而经过10几年的发展到现在变得更加成熟。 从INI出来的初创公司inivation已经将DVS变成成熟的产品,不仅整个传感器集成了仿生的事件像素阵列, 还在外围同步集成了如RGB相机, IMU传感器,帮助其实现更强大的信息同步和收集能力。 另一个具有强劲实力的初创公司Prophesee提供高分辨率的动态视觉传感器, 并和sony合作将最先进的光学电子工艺和dvs结合, 大大的减小了芯片面积和光学性能。此外, 还有一系列的高科技初创公司正在蓄力待发, 同时在应用算法层面, 也有越来越多的科研学者和工程师专家已经把事件相机信号应用在各行各业中。
在这里插入图片描述
图: Inivation生产的动态视觉相机

在这里插入图片描述
图: Sony即将投产的事件相机传感器芯片

动态视觉传感

那么什么是DVS呢, 用通俗易懂的话来讲就是:“它只对运动的目标成像。”

从工作原理上来讲, DVS最大的特点是–异步感知</

kuavo@kuavo-NUC12WSKi7:~/kuavo_ros_application$ git checkout opensource/navigation_demo error: Your local changes to the following files would be overwritten by checkout: README.md src/dynamic_biped/launch/auto_find_ar_tag.launch src/dynamic_biped/launch/load_robot_head.launch src/dynamic_biped/launch/sensor_apriltag_only_enable.launch src/dynamic_biped/launch/sensor_robot_enable.launch src/dynamic_biped/package.xml src/ros_audio/kuavo_audio_player/launch/play_music.launch src/ros_audio/kuavo_audio_player/scripts/loundspeaker.py src/ros_audio/kuavo_audio_player/service/start_h12pro_play_node.service src/ros_audio/kuavo_audio_recorder/CMakeLists.txt src/ros_sensor_integration/ros_realsense/ddynamic_reconfigure/.gitignore src/ros_sensor_integration/ros_realsense/ddynamic_reconfigure/CHANGELOG.rst src/ros_sensor_integration/ros_realsense/ddynamic_reconfigure/CMakeLists.txt src/ros_sensor_integration/ros_realsense/ddynamic_reconfigure/README.md src/ros_sensor_integration/ros_realsense/ddynamic_reconfigure/include/ddynamic_reconfigure/ddynamic_reconfigure.h src/ros_sensor_integration/ros_realsense/ddynamic_reconfigure/include/ddynamic_reconfigure/ddynamic_reconfigure_utils.h src/ros_sensor_integration/ros_realsense/ddynamic_reconfigure/include/ddynamic_reconfigure/registered_param.h src/ros_sensor_integration/ros_realsense/ddynamic_reconfigure/package.xml src/ros_sensor_integration/ros_realsense/ddynamic_reconfigure/src/ddynamic_reconfigure.cpp src/ros_sensor_integration/ros_realsense/ddynamic_reconfigure/test/ddynamic_reconfigure.test src/ros_sensor_integration/ros_realsense/ddynamic_reconfigure/test/ddynamic_reconfigure_auto_update_test.cpp src/ros_sensor_integration/ros_realsense/ddynamic_reconfigure/test/fake_dynamic_reconfigure_server.cpp src/ros_sensor_integration/ros_realsense/ddynamic_reconfigure/test/test_bool_dynamic_reconfigure_server.cpp src/ros_sensor_integration/ros_realsense/ddynamic_reconfigure/test/test_ddynamic_reconfigure.cpp src/ros_sensor_integration/ros_realsense/realsense2_camera/CMakeLists.txt src/ros_vision/detection_apriltag/apriltag_ros/launch/continuous_detection.launch src/ros_vision/detection_industrial_yolo/yolo_box_object_detection/scripts/yolo_box_segment_ros.py Please commit your changes or stash them before you switch branches. Aborting
08-02
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值