人机交互技术:利用声波识别手势 Gesture Control System Uses Sound Alone

超声波手势识别(STM32四路超声波获取) 超声波手势识别在市场上已经有见实现,但研究其传感器发现并不是市场上随意可见的,如果暂且考虑成本,该如何入门实现简单的手势识别呢。聊天中老师给出一个很好的提议,就是固定四个超声波,分别为上下左右,然后进行程序上的对应编号,用单片机实现四路超声波的距离数据读取,然后程序分析读取的数据进而判断手势。STM32单片机有多个定时器,每个定时器接入一个超声波,分别接入四个,定时器分别开... 阅读详情

当支付宝(当面付)开始用超声波进行近距离的小数据量通讯时,我就感慨,这真是一个伟大的而又令人敬佩的发明!因为它完全不需要额外的硬件支持!

后来微信将超声波通讯应用到了“雷达找朋友”,腾讯总是善于学习且发现的,也很令人敬佩。

而今天,微软甚至将超声波技术用到了手势识别上!下面的链接对此详细描述!

http://article.yeeyan.org/compare/286069

利用声波实现手势识别

从高中物理课本中的“多普勒效应”我们知道当波源在运动时观察者感受到波的频率是变化的,救护车的鸣笛声就是一个很好的例子,你也许没有想到过利用“多普勒效应”来控制电脑吧。


利用“多普勒效应”来控制电脑?你没有听错,位于华盛顿州雷德蒙德市的软件巨头微软研究院就正在做这件事情。“手势控制”技术变得越来越常见,实际上这种技术已经运用到某些电视上了。当其它“动作感应"技术(微软的Kinect)还停留在利用摄像机来感知动作的阶段,SoundWave则是利用“多普勒效应”结合某些智能软件以及笔记本内建的扬声器和麦克风来实现这一点。

作为微软研究院首席研究员以及SoundWave研究小组成员之一的Desney Tan说到利用SoundWave技术已经能感知一些简单的动作了,随着智能手机和笔记本配备多个扬声器和麦克风,SoundWave技术将会变得更高效。由微软研究院和华盛顿大学共同研究的SoundWave技术成果将在德克萨斯州奥斯汀市的2012年 ACM SIGCHI Conference大会的Human Factors部分展示出来。

SoundWave这个点子是去年夏天产生的,当时Desney和其他人正在做一个项目,需要用到超声换能器(能发射和接收超声波)来产生触觉,其中一个研究员发现当他四处走动的时候声波发生了奇怪的波动。超声换能器发射出的超声波从他身上弹开,他的动作改变了超声波的频率,在示波器上面就体现出来了。

研究院们很快意识到这个现象可能对动作感应有用。由于许多设备已经配备了扬声器和麦克风,他们又做了实验想要弄清楚能否利用现有的传感器来检感知动作。Desney Tan 说:”标准电脑的扬声器和麦克风在超声波(人类无法听到)中依然可以正常使用的,这就意味着你只需要一个笔记本或者装有SoundWave软件的智能手机“

来自卡梅隆大学的Chris Harrison,他是研究”感官用户接口“的,他说SoundWave如果配合现有的软硬件将是一项巨大的发明。

”我认为SoundWave还是有一些潜力的“他说。

一台装有SoundWave电脑的扬声器发射出介于20KHZ~22KHZ之间的恒定频率的超声波。如果当时周围环境中没有什么东西在移动,那么麦克风接收到的的频率也应该是恒定的。但是如果有东西向着电脑的方向移动,麦克风接收到的的频率就会升高,反之则会降低。

相关的数学模型物理模型已经有了,Tan说到,所以基于频率我们可以用来分析出到底运动物体有多大、物体运动有多快以及它的方向。通过以上几个数据SoundWave就可以实现动作识别了。

SoundWave准确性徘徊在90%左右,Tan说到,而且在用户作出动作和计算机回应用户动作这段时间内并没有很明显的延迟。当扬声器在处理其他的一些事情的时候SoundWave依然可以使用。

目前,SoundWave研究小组已经想出了一组动作,包括上下晃动手掌、手接近或者远离电脑、弯曲你的四肢、身体接近或者远离电脑。有了以上动作,研究员们可以实现滚动网页、一些简单的网络导航以及当用户接近电脑时自动唤醒,远离电脑时切换到休眠状态,Tand如是说。

Harrison认为最好能控制下动作的数量,因为用户要记住那么多动作可不是一件容易的事情。SoundWave小组还研发了一组动作来玩俄罗斯方块,这样既能娱乐又能测试SoundWave的准确性和速度。

Tan希望SoundWave能够和其它一些动作识别技术协同工作。他说道SoundWave不用考虑光线的问题而基于视觉的动作识别技术却不行, SoundWave对于一些细微的动作识别不是很在行比如捏手指之类的。”理论上讲全世界有各种各样的识别器,用户不会在乎这些识别器是什么,他们只关心识别器能否帮助他们解决问题“,Tan这样说道。


only sound—thanks to the Doppler Effect, some clever 
software, and the built-in speakers and microphone on a laptop.


Desney Tan,
a Microsoft Research principal researcher and member of the SoundWave 
team, says the technology can already be used to sense a number of 
simple gestures, and with smart phones and laptops starting to include 
multiple speakers and microphones, the technology could become even more
sensitive. SoundWave—a collaboration between Microsoft Research and the
University of Washington—will be presented this week in a paper at the 2012 ACM SIGCHI Conference on Human Factors in Computing in Austin, Texas.


The idea for SoundWave emerged last summer, when Desney and others 
were working on a project involving using ultrasonic transducers to 
create haptic effects, and one researcher noticed a sound wave changing 
in a surprising way as he moved his body around. The transducers were 
emitting an ultrasonic sound wave that was bouncing off researchers’ 
bodies, and their movements changed the tone of the sound that was 
picked up, and the sound wave they viewed on the back end.


The researchers quickly determined that this could be useful for 
gesture sensing. And since many devices already have microphones and 
speakers embedded, they experimented to see if they could use those 
existing sensors to detect movements. Tan says standard computer 
speakers and microphones can operate in the ultrasonic band—beyond what 
humans can hear—which means all SoundWave has to do to make its 
technology work on your laptop or smart phone is load it up with 
SoundWave software.


Chris Harrison, a graduate student at Carnegie Mellon University who 
studies sensing for user interfaces, calls SoundWave’s ability to 
operate with existing hardware and a software update “a huge win.”


“I think it has some interesting potential,” he says.


The speakers on a computer equipped with SoundWave software emit a 
constant ultrasonic tone of between 20 and 22 kilohertz. If nothing in 
the immediate environment is moving, the tone the computer’s microphone 
hears should also be constant. But if something is moving toward the 
computer, that tone will shift to a higher frequency. If it’s moving 
away, the tone will shift to a lower frequency.


This happens in predictable patterns, Tan says, so the frequencies 
can be analyzed to determine how big the moving object is, how fast it’s
moving, and the direction it’s going. Based on all that, SoundWave can 
infer gestures.


The software’s accuracy hovers in the 90 percent range, Tan says, and
there isn’t a noticeable delay between when a user makes a gesture and 
the computer’s response. And SoundWave can operate while you’re using 
the speakers for other things, too.


So far, the SoundWave team has come up with a range of movements that
its software can understand, including swiping your hand up or down, 
moving it toward or away from your body, flexing your limbs, or moving 
your entire body closer to or farther away from the computer. With these
gestures, researchers are able to scroll through pages on a computer 
screen and control simple Web navigation. Sensing when a user approaches
a computer or walks away from it could be used to automatically wake it
up or put it to sleep, Tan says.


Harrison thinks that having a limited number of gestures is fine, 
especially since users will have to memorize them. The SoundWave team 
has also used its technology to control a game of Tetris, which, aside 
from being fun, provided a good test of the system’s accuracy and speed.


Tan envisions SoundWave working alongside other gesture-sensing 
technologies, saying that while it doesn’t face the lighting issues that
vision-based technologies do, it’s not as good at sensing small 
gestures like a pinch of the fingers. “Ideally there are lots of sensors
around the world, and the user doesn’t know or care what the sensors 
are, they’re just interacting with their tasks,” he says.

python:实现gesture control手势控制(附完整源码) 阅读详情

相关推荐

31、超声波手势识别系统 UltrasonicG:高精度与强鲁棒性的完美结合

UltrasonicG 是一种基于超声波的高精度、强鲁棒性手势识别系统,通过发射20kHz音频信号并分析回声中的多普勒频移实现非接触式交互。系统采用ResNet34提取频谱图特征,结合Bi-LSTM进行序列分类,有效提升了识别准确率与抗干扰能力。相较于传统视觉或Wi-Fi方案,UltrasonicG具备隐私保护优势,不受多径效应显著影响,并在复杂环境中保持98%以上的识别准确率。支持细粒度手势识别,适用于智能设备部署,未来将拓展至双手连续动态手势识别与更广泛的应用场景。

hhh00的博客 104

开发者说 | 地平线程序员奶爸带你玩转机器人开发平台 —— 第一期 手势控制

《地平线程序奶爸带你玩转机器人开发平台 —— 第一期 手势控制》教程发布,欢迎近距离围观!

xuguosheng1992的博客 2059

基于可见光的环境自适应手势识别系统

手势日益成为一种重要的人机交互方式,可在电子游戏、虚拟现实等场景中为用户提供更优质的体验。近年来,研究者探索利用不同感知技术实现手势识别,如射频信号、声学信号等。与之相比,利用可见光识别手势具有更强普适性。基本原理为:不同手势遮挡可见光会产生独特的阴影模式,通过光电传感器捕捉阴影变化即可实现手势识别。

罗伯特技术屋 589

基于声波的手势识别技术

多普勒效应,它指的是波源和观察者有相对运动时,观察者接受到波的频率与波源发出的频率并不相同的现象。如远方急驶过来的火车鸣笛声变得尖细(即频率变高,波长变短),而离我们而去的火车鸣笛声变得低沉(即频率变低,波长变长)。但你可能没有想过多普勒效应居然可以帮助你来控制电脑。如今,微软研究院的团队利用多普勒效应原理,研发出了一个基于声波的的手势识别技术。这一手势识别技术依靠麦克风和扬声器来感知和理解你的手

dalangtaosha2011的专栏 2441

基于LMBP神经网络的声纳图像识别 (2006年)

利用具有二阶收敛效应的Levenberg-Marquardt(L-M)算法优化BP 的权值修正量,构造了快速收敛的LMBP 学习算法,并将其应用在声纳图像识别系统中。通过与标准BP 算法和几种常用改进型BP 神经网络以及径向基函数网络比较,验证了用LMBP 神经网络作为声纳图像识别系统中的分类器,能够提高图像的识别率,加快网络的收敛速度,通过对受不同程度高斯白噪声污染的声纳图象的识别,验证了其性能稳定,具有较好的抗噪声性能。

超声波MEMS麦克风实现3D手势识别

创新的超声波MEMS麦克风即将改变我们与移动设备的互动方式。预计在今年稍晚就会出现一些先进的产品,让用户可透过对屏幕上的图像挥手、轻点以及像玩粘土一样塑型的方式来控制屏幕上的动作。

手势传感器 - 从零开始认识各种传感器【第十八期】

手势传感器是一种能够感知人类手势或动作的传感器。它可以捕捉、识别和解释人类的手部动作或姿势,并将其转换成电信号或数字信号,通过识别人体的手势动作来实现与电子设备的交互,如控制电视、医疗设备、游戏机及VR设备等。

硬禾科技的博客 3641

HMC5883L磁力计在STM32F4上的I2C驱动与数据校准实战

本文详细介绍了HMC5883L磁力计在STM32F4平台上的I2C驱动开发与数据校准实战。通过解析寄存器配置、数据读取处理和椭圆拟合校准算法,帮助开发者实现精准的地磁测量,特别适用于无人机导航和机器人系统中的航向确定与陀螺仪漂移修正。

2y3u4i5o6p的博客 1040

SoundWave:基于声波的手势识别 笔记本一秒变Kinect

手势正成为日益流行的人机交互方式。然而现有的手势识别系统的价格并不便宜,而一个来自微软研究院的团队研发出了一个基于声波的的手势识别技术。这一手势识别技术的原理利用的是多普勒效应,依靠麦克风和扬声器来感知和理解你的手势。也就是说像笔记本这些拥有扬声器和麦克风的设备可以瞬间变成Kinect。 我们高中课本上都讲过多普勒效应,它指的是波源和观察者有相对运动时,观察者接受到波的频率与波源发出的频率并...

java开发指南博客 【转载】 394

hspice2016安装教程

试装系统:win10 64bit 安装包路径和安装路径最好都不要出现中文,一般选择默认安装在C盘。 1.解压安装包压缩文件。 2.以管理员身份运行hspice_vL-2016.03-2_win.exe。 3.点击“Next”。 4.选择“I accept”,然后点击“Next”。 5.点击“Next”。 6.一般默认安装路径即可,然后点击“Next”。 7.点击“Next”. 8.点击“Next”。 9.正...

谢谢关注“小鱼教你模数电”,各平台同号 1万+

Cadence学习之路:什么是PCB工艺的正片与负片

正片??负片??Flash焊盘的创建与使用

qq_46757048的博客 4247

深度学习模型解决超声波手势识别

简 介: 以手势识别为代表的人类活动识别是一种重要的人机交互方式,其在可穿戴设备、虚拟现实以及驾驶舱智能交互等领域有着重要的应用前景,其中基于雷达前端的手势识别方法是相关研究的热点。本文针对基于超声波雷达的手势识别问题,设计了3种不同的特征提取方法,搭建、训练和测试了工作在不同特征提取方式下的卷积神经网络、长短时记忆网络以及端到端网络,以考察在超声手势识别问题上应用深度学习模型的可行性及方法。实验结果表明,本文实现的多种深度学习模型均具有较好的手势识别能力,其中基于人工提取特征的长短时记忆网络在识别准确..

TSINGHUAJOKING 4549

uniapp - 详细解决 H5 网页报错 Uncaught Error: Async component timed out after ? ms.(移动端h5页面白屏或加载缓慢失败,超时报错处理)

uni-app,vue3,网页,h5,移动端,手机H5页面,浏览器,报错,uniapp报错,Asynccomponenttimedoutafter,如何解决这个问题,vue3Asynccomponenttimedoutafter,异步组件超时了怎么办,async,详细解决方案,AsyncComponents异步组件,导致页面打不开了,白屏什么也不显示,网页载入非常慢卡顿,vue3网站报错,超时,nuxt3,详细解决方案,浏览器控制台报错,爆红并且页面卡住了,依旧报错,找不到异步组件的报错

🏆 前端领域优质创作者 3782

利用超声波进行手势识别的代码

很抱歉,我不能为您提供完整的代码。但是,我可以为您提供一些指导方针: 首先,您需要一个超声波传感器,并将其连接到计算机或微控制器。 然后,您需要编写代码来采集超声波数据。您可以使用任何编程语言,如C,Python或Arduino等。 接下来,您需要处理超声波数据,以识别不同的手势。这可以通过对数据进行分析,比如对于每个手势定义一组规则,如距离、速度等,并将数据与这些规则进行匹配来识别手势。 ...

weixin_35752233的博客 263

蓝桥杯第七届省赛试题--“模拟风扇控制系统”

题目要求 功能简述 “模拟风扇控制系统”能够模拟电风扇工作,通过按键控制风扇的转动速度和定时时间,数码管实时显示风扇的工作模式,动态倒计时显示剩余的定时时间,系统主要由数码管显示、单片机最小系统、按键输入和电机控制保护电路组成,系统框图如图 1 所示: 单总线驱动程序、CT107D 单片机考试平台电路原理图以及本题所涉及到的芯片数据手册,可参考计算机上的电子文档。程序流程图及相关工程文件请以考生...

qq_43280087的博客 2661

在 ABAP Cloud 里优雅读取与解析 XML:用 sXML Reader 把接口数据落成结构化 ABAP

ABAP Cloud中XML解析实践 摘要:本文介绍了在ABAP Cloud环境下解析XML数据的最佳实践。针对企业系统中常见的XML格式数据,文章推荐使用sXML库中的CL_SXML_STRING_READER进行流式解析,而非传统的DOM方式。重点解析了命名空间(Namespace)、属性(Attribute)和CDATA等关键概念的处理方法,并比较了两种读取属性的策略:通扫所有属性(NEXT_ATTRIBUTE)和精准取值(GET_ATTRIBUTE_VALUE)。文章提供了完整的ABAP Cloud

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 195

将声音传感器与 Arduino 连接并通过 Clap 控制设备

您需要切断带电的交流电线路,并将切断的电线(来自墙壁)的一端连接到 COM,另一端连接到 NO。将声音传感器的输出引脚 (OUT) 连接到 Arduino 上的数字引脚 #7,将继电器模块的控制引脚 (IN) 连接到数字引脚 #8。首先将模块的 VCC 引脚连接到 Arduino 的 5V 引脚,并将 GND 引脚接地。现在,要设置阈值,请用靠近麦克风的手指单击并调整电位器,直到模块的状态 LED 因您的单击而闪烁。你可以用它来设置一个阈值,这样当声音的幅度超过阈值时,模块输出低电平,否则输出高电平。

sxstj的博客 1788

构建栅格地图matlab代码

1 使用MATLAB实现地图栅格化 效果图如下所示 图1 ...

qq_59747472的博客 4519

行为检测_浅谈基于超声波传感器的人体行为检测

近年来,随着微电子工艺的发展,小巧且智能的传感器不断涌现,目前,基于计算机视觉、传感器、位置、人物交互的四种行为识别技术,在一定程度上可以满足特定场景下的行为识别需求,但是不通过视频或图像技术能够探测到行为人异常行为还不能实现。下面工采网小编介绍一款基于超声波人体行为检测的传感器。超声波传感器是利用传感器头部的压振陶瓷的振动,产生高频的人耳听不见的声波来进行感应的,如果这声波碰到了某个物体,传感器...

weixin_33172728的博客 724

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

【前沿】凌空手势识别综述

普适计算技术和可穿戴设备的快速发展为自然的手势识别技术提出了新的挑战:应能使用户尽可能摆脱对环境和输入设备的束缚,与环境进行自然而有效的手势交互。凌空手势(mid-air gestures)识别是应对新挑战的一类有效的手势识别技术。本文首先对凌空手势的定义进行了描述,然后分析和总结了现有的基于计算机视觉、超声波和电磁信号的三大类凌空手势识别技术,并指出了凌空手势识别技术的应用领域、开放性问题及未来

计算机技术博客 1万+

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

手势识别(一)--手势基本概念和ChaLearn Gesture Challenge

以下转自: http://blog.youkuaiyun.com/qq1175421841/article/details/50312565 像点击(clicks)是GUI平台的核心,轻点(taps)是触摸平台的核心那样,手势(gestures)是Kinect应用程序的核心。和图形用户界面中的数字交互不同,手势是现实生活中存在的动作。如果没有电脑我们就不需要鼠标,但是没了Kinect,手势依然存在

工作笔记 2万+

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

屏幕关闭原因以及p-sensor

按下电源按键后屏幕关闭的log如下: D/WindowManager(  250): interceptKeyTq keycode=26 screenIsOn=true keyguardActive=false I/power   (  250): *** set_screen_state 0 D/SurfaceFlinger(   87): About to give-up screen,

Yasin Lee 6252

CTS: testSensorFeatures FAIL 的解决

错误如下 -- testSensorFeatures fail junit.framework.AssertionFailedError: PackageManager#hasSystemFeature(android.hardware.sensor.gyroscope) returns false but SensorManager#getSensorList(

Yasin Lee 5883

G-sensor的抖动问题

20130108 G-sensor的抖动问题: 现象:当手机在桌面静止的时候,测试应用显示z轴报点为10左右,但会频繁出现-10。x和y轴也有这个现象。用测试应用绘制曲线图发现数据完全不平滑,高概率出现跳跃,跳跃到负方向! 调查描述: 1.硬件采样和报点数据确认正确!说明硬件和驱动没有问题。 2.检查event事件,getevent发现,虽然硬件报点每次都有xyz没有缺失,但是getev

Yasin Lee 4403
上一篇: 函数返回值类型
下一篇: 博通发布业内首款全球导航和传感器中枢(Sensor Hub)组合芯片BCM4773
YasinLeeX
博客等级 码龄19年 379粉丝 310原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

YasinLeeX

再来一杯西湖龙井。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值