微信扫一扫背后的秘密:基于运动估计的智能传图算法

从扫码到直达:微信小程序指定页面跳转的完整实现指南 本文详细解析了微信小程序通过扫码实现指定页面跳转的完整技术方案,涵盖微信公众平台配置、Uni-app前端开发、.NET Core后端实现等关键环节。特别针对二维码生成、参数安全处理和全链路测试等核心问题提供实战解决方案,帮助开发者高效实现类似共享充电宝等场景的扫码直达功能。 阅读详情

一、项目背景

图1.1 常见的图像识别应用


  本项目提出的图像算法主要解决如下问题:在移动设备实时获取图像的过程中,让算法自动决定何时进行图片发送请求、何时中断发送请求,并将此策略用在实时的图像检索应用中。
目前的移动端图像检索应用,在选择发送图像时机时,多采用如下两种策略:


  1.将图像不断地发送至后台,根据服务器端反馈结果,来决定停止发送;


  2.加入用户交互,如拍照的方式,触发传送请求,如Google Goggles、百度识图、SOSO慧眼等当前主流视觉搜索引擎所做的那样。


  采用第一种方案,可以保证用户较为方便地使用,由于传图密度较大,可以保证图片的质量比较好,但是缺点也是显而易见的,该策略会造成较大的网络传输量以及服务器端计算的压力;采用第二种方案,缺点是需要加入用户的交互,提高了操作的难度,且要考虑所在应用(如微信扫一扫)已有交互习惯的搭配性,因此其关键点是如何在保证图片质量的情况下大幅减小网络传输量和服务器运算压力。


二、技术介绍


(一)拍照识别与实时识别


  图像识别是需要大数据量和大计算量的,所以一定是要放在云端。图像识别的方式有拍照识别,也有实时识别,但是我们看到市面上的所有产品几乎都是用的拍照识别的方式。其实早在做SOSO慧眼的时候,模式识别团队的同学就在思考一个问题,为什么一定要拍?我想拍照识别的最大好处就是用户意图明确,从而流量大幅减少。但是拍照识别的一个坏处就是用户一定要主动触发,而用户主动触发的情况下,只会进行一次识别尝试,一旦没有识别结果,用户的感受就会很差。如前面所述,实时识别才是更好的用户体验,但是不停传送图片的方法会造成大量的流量浪费,也会造成服务器压力过大。也正是因为此我们在上文中所提到的这些同类产品都没有实时识别的功能,而唯一有实时识别的 Goggles,经过测试,其采用的方案基本上也是定时上传的,只需用一会儿流量消耗就会很大。


  那么我们的想法就是如何判断用户的意图?也就是只有用户确实在对准一个物体的时候会自动地上传一张图片进行识别?而在用户运动的过程中,或者图像模糊的情况下,能够不进行传输。通过这样的方式,实现了智能判断上传识别图像的方法,传输的数据量大幅缩减。


(二)基于运动估计的智能传图算法


1) 运动估计


  运动估计的英文名称是(Motion Estimation). 是视频编码和视频处理(例如去交织)中广泛使用的一种技术。我们这里将本来用于视频编码的运动估计思想移植到手机摄像头来,视频与手机摄像头的图像序列均有共同的连续图像相关性,因此运动估计算法是可以通用的。但是同时这二者又有很多不同点,比如手机摄像头获取图像分辨率往往较低,同时在用户实际使用的时候手机不会有太大幅度的运动。更主要的是,视频编码中所用的全局运动估计算法是非常慢的,即使在PC上也往往不能达到实时,因此我们进行这些特性进行了修改,来使得算法在各种低端手机上也能达到非常高效的性能。

图2.1 块匹配算法示意


  我们采用的是最简单的基于块匹配的运动估计算法,示意图如图2.1所示。根据传入视频图像大小,对于视频帧中间的特定区域在其周围的一个有限邻域内采用由里到外的方式进行搜索。找到最相似的块后,根据二者位置获取两帧之间的运动矢量。搜索过程采用逼近算法,首先进行大步长的移动,找到相似度相对较小的区域,然后在区域内减小步长,逐步逼近得到最终的搜索结果。为了保证算法的高速,对于超过一定阈值的过大的视频帧图像,我们首先进行了降采样的处理。获取的运动矢量包含了方向和幅度两个信息。在手机这种场景中,根据实际的需求,我们所需要判断的运动主要有以下4种状态:运动、静止、运动到静止、静止到运动。其中前两个状态是根据实际的运动幅度判断出来的,后两个状态是根据前面的状态生成的。而运动到静止就是通常使我们认为可以上传图片的时机,而静止过程中的图片我们可以认为其图像区域没有明显的变化(或只有小幅移动),因此只需要上传其中一张就可以了。当然,虽然有了运动矢量,但具体到实际问题,更重要的是考虑防止抖动的影响以及用户慢速运动等很多情况,不能简单用阈值区分。运动估计算法整体流程图如图2.2所示。

 

图2.2 运动估计算法流程图


2) 图像有效性判别


有了上面的运动估计,我们已经可以较好地预测用户的意图,从而在运动到静止状态的时候启动传图到后台的识别过程。但是用户的手机存在对焦过程,并不是每一帧都是清晰的,即使是清晰的图像也不一定适合进行图像或者文字识别。因此有必要对于需要上传的图像进行有效性判断。
为了提高识别率,以及根据图像识别的特征,我们采用基于FAST特征点的清晰度判别算法。针对实际使用的图片,修改训练了一套自己的FAST角点检测引擎,能够有较好的速度和角点检测能力。我们对于有效图片的定义是,第一清晰,第二具有较为丰富的纹理。这两点正好符合FAST的特征,在图片不清晰的时候,往往FAST点较少,在比如较多空白或者单一颜色的图片中,FAST点同样很少,因此只需要对于需要上传图片的FAST点进行判断,即可以获得较为有效的上传图片。
在我们的实际应用中,仅需要在检测到运动到静止状态时,进行FAST点判断的过程,如果为清晰则直接上传当前帧,如果不清晰而后面仍然为静止状态,则在后面的帧中继续进行FAST角点检测,直到获得符合上传条件的帧图像。


经过优化,我们的引擎在iOS主流机型上均具有很好的性能,在每秒处理10帧的情况下,通常1-2帧处理即可进行运动和有效性估计。占用的CPU资源更是几乎忽略不计:

 

三、微信如何“扫”

用户只需要打开微信“扫一扫”界面,进入“封面”或者“翻译”模式,即可进入识别状态,如下图所示:


图3.1 微信扫封面界面


其中客户端的处理流程如下:

 

图3.2 客户端-后台处理流程

 

  “扫一扫”从摄像头获取实时的图像,预判逻辑会以一定的时间间隔从实时视频流当中截取图像进行处理,在规定的状态发生后,会自动触发图片发送逻辑,将图片发送至后台进行检索。


四、后续改进


  虽然运动估计的算法已经能够比较简单而且快速地解决了智能上传图像识别的问题,但是后续仍然可以有很多改进的空间,比如可以区分图像和文字特征的不同,采用不同的清晰度判别方法,比如可以加入跟踪算法从而保持在已经识别到的物体尚在视频区域内时,不论其旋转或者拉远拉近,均不会因为图像发生变化而再次启动识别,等等。


  这种探索只是一个简单而初步的尝试,但随着研究的深入,相信实时识别的技术一定会成为图像识别的主流。


附记:


感谢关注微信模式识别团队的最新技术:


微信5.0:


http://weixin.qq.com/

SOSO慧眼:


http://huiyan.qq.com/ 

基于Python实现的微信好友数据分析   最近微信迎来了一次重要的更新,允许用户对”发现”页面进行定制。不知道从什么时候开始,微信朋友圈变得越来越复杂,当越来越多的人选择”仅展示最近三天的朋友圈”,大概连微信官方都是一脸的无可奈何。逐步泛化的好友关系,让微信从熟人社交逐渐过渡到陌生人社交,而朋友圈里亦真亦幻的状态更新,仿佛在努力证明每一个个体的”有趣”。有人选择在朋友圈里记录生活的点滴,有人选择在朋友圈里展示观点的异同,可归根到底,人... 阅读详情

相关推荐

读《认知科学导论》(萨伽德) 总结

1. 作者的写作思路 本书是建立在对心智的理解采用表征与计算的方式。对心智表征-计算的理解方式是与计算机的本质相联系。计算机本质上是一个符号系统,符号系统包含两个部分,一个是符号,另一个是建立在符号上的操作。对心智采用表征-计算的方式理解,很容易与计算机建立起类比关系。同时人们在探索人工智能领域采用表征-计算方式已经取得了无数辉煌的成就,故表征-计算式现在研究的主流方法。 本书的有两个部分组成

xiaoqiangXX的专栏 3451

微信二维码上传文件

在业务系统中常常遇到文件上传比较麻烦等问题,首先拍照后要将照片拷贝到电脑中,然后在点击上传按钮,这样确实比较麻烦,因为本人设计出通过通过扫描二维码自动上传文件,代码如下:文件对FileBean.java象类如下:/** * */ package com.goldenbridge.qrcodefilesystem.core; /** *@author create by pengweikan...

peng_wei_kang的博客 1万+

OGG工具实现MySQL同步到Oracle数据库

OGG工具实现MySQL同步数据到Oracle

Mrzhou的博客 1684

非技术-行业应用-战略-行业典型

微信扫一扫背后的秘密:基于运动估计的智能传图算法 http://djt.qq.com/article/view/607   Win8用U盘安装: http://softbbs.zol.com.cn/1/20_224.html   google全球缓存IP http://114.215.203.153/google/ ...

greatwqs : Where amazing happens ... 269

优化求解器性能:当分支切割算法中的gap停滞不前时如何应对

本文深入探讨了当分支切割算法求解复杂整数规划问题时,gap停滞不前的根本原因与应对策略。文章指出gap停滞源于上界(找不到更优整数解)或下界(证明过程缓慢)提升受阻,并提供了从模型改写、自定义割平面、调整搜索策略到参数调优等一系列实战方法,帮助优化工程师有效打破求解僵局,推动gap下降。

weixin_29294597的博客 381

微信扫一扫背后的秘密:基于运动估计的智能传图算法(转)

作者:valiant、jamy 一、项目背景 图1.1 常见的图像识别应用   本项目提出的图像算法主要解决如下问题:在移动设备实时获取图像的过程中,让算法自动决定何时进行图片发送请求、何时中断发送请求,并将此策略用在实时的图像检索应用中。目前的移动端图像检索应用,在选择发送图像时机时,多采用如下两种策略:   1.将图像不断地发送至后台,根据服务器端反馈结果,来决定停止发送;   ...

weixin_30794491的博客 284

微信小程序内容安全审核:从API调用到工程化落地的全流程实践

内容安全是互联网应用开发中的基础性技术环节,尤其在用户生成内容(UGC)场景下,它直接关系到平台的合规性与用户体验。其核心原理通常结合了关键词过滤、自然语言处理(NLP)和计算机视觉(CV)等技术,通过AI模型对文本、图像、音频进行多维度风险识别。这项技术的价值在于,它不仅是满足监管要求的必要手段,更是构建健康社区生态、保护品牌声誉、实现产品长期稳定运营的基石,广泛应用于社交、电商、社区论坛等各类UGC平台。本文聚焦于微信小程序生态,深入剖析其官方提供的内容安全解决方案,详细解读如何将文本同步检测与多媒体异

weixin_28622215的博客 457

微信「扫一扫识物」 的背后技术揭秘

作者:breezecheng,腾讯 WXG 应用研究员微信扫码已经深入人心, 微信扫物 12.23 日 ios 版本正式上线,从识别特定编码形态的图片(二维码/小程序码/条形码/扫翻译)...

腾讯技术工程 3428

【ArcGIS Pro微课1000例】0047:深度学习--棕榈树提取全流程

对汤加科洛瓦伊种植园每棵棕榈树的健康状况进行清查和评估,这需要花费大量的时间和劳动力。为简化此过程,将在 ArcGIS Pro 中使用深度学习模型来识别树木,然后根据植被绿度的测量值计算其健康状况。第一步是找到显示汤加科洛瓦伊的影像,该影像具有足够精细的空间和光谱分辨率来识别树木。获得此影像后,将创建训练样本并将其转换为可供深度学习模型使用的格式。为了让模型识别出它的查找任务,需要定义棕榈树的影像,以便识别相似的像素和树木大小。

智慧空间实验室 2209

人像虚化实现原理:基于深度估计 vs 语义分割的双路径工程实践

人像虚化(Portrait Bokeh)已成为移动影像系统中的基础能力,其核心目标是模拟大光圈下浅景深效果,突出主体、弱化背景。现代手机相机中,主要采用“基于深度估计”与“基于语义分割”两种路径实现虚化效果。前者依赖双摄或多摄配置进行视差计算,后者则通过 AI 模型识别人体结构并生成前后景区域分割图。本文将从这两种方案的底层原理、数据链路、模型部署到实战性能优化策略进行全面解析,帮助开发者构建适配自身 SoC 架构的人像虚化系统。

努力分享一些人工智能、计算机视觉、影像等相关的知识干货! 1728

微信扫描二维码登陆的实现原理

作者:程序员自由之路https://www.cnblogs.com/54chensongxia/p/12530268.html随着微信的普及,我们可以通过微信扫描设备二维码来实现IoT物...

3418

《Python基础教程》专栏总结篇

今天给大家带来的文章是《Python基础教程》专栏总结篇,希望能对同学们有所帮助。 文章目录 1. 背景 2. 专栏亮点 3. 你的收获 4. 详细目录

weixin_43178406的博客 73万+

手机用计算机微信运动记步吗,微信运动到底是如何记录步数的?

(来源:天津科普说)原标题:微信运动到底是如何记录步数的?太长不看版步数背后的秘密是加速度,手机微信计步的原理主要靠智能手机中的三样东西——陀螺仪、重力感应器和计步智能模块。因此,平时只要是能引起手机加速度变化的动作,都会被微信运动记录下来当做有效步数,即使是像抖腿、原地踏步这样并不属于走路的动作也会被记录。延伸阅读 微信运动每天的步数排名愈发受人关注,人们总会在意今天走了多少步,在好友中排名多少...

weixin_29435467的博客 2869

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

你的微信二维码是唯一的吗 【微信二维码的秘密】

你的微信二维码是唯一的吗 【微信二维码的秘密】

fguyfff的博客 2662

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

浏览器里的微信:wechat-need-web如何重新定义网页通讯边界

上午十点,会议室投影仪前的你,正焦急地等待工作群里的文件。公司电脑无法安装微信客户端,手机又没电了,网页版微信却显示"无法登录"。这熟悉又令人沮丧的场景,每天都在无数办公场所上演。当移动应用与桌面环境之间的壁垒成为日常沟通的障碍,一个开源项目悄然改变了这种局面。 ## 技术魔术:当浏览器学会"说微信" wechat-need-web的工作原理像是一把精心打造的钥匙,专门为微信网页版这扇被锁住的

gitblog_00599的博客 138

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

腾讯微信技术总监:十亿用户增长背后的架构秘密

微信——腾讯战略级产品,创造移动互联网增速记录,10个月5000万手机用户,433天之内完成用户数从零到一亿的增长过程,千万级用户同时在线,摇一摇每天次数过亿... 在技术架构上,微信是如何做到的?日前,在腾讯大讲堂在中山大学校园宣讲活动上,腾讯广研助理总经理、微信技术总监周颢在两小时的演讲中揭开了微信背后的秘密。 周颢,2001年毕业于华南理工大学,计算机专业硕士。2005年加入腾讯广州研发部,历任QQ邮箱架构师,广研技术总监,T4技术专家,微信中心助理总经理。 周颢把...

programmer188的博客 869

一单变现19.9,小红书上的爆款AI表情包,背后藏着怎样的赚钱秘密?

随着社交媒体的飞速发展,表情包已经成为我们日常沟通中不可或缺的一部分。特别是在小红书这样的平台上,趣味插画AI表情包以其独特的创意和趣味性,迅速吸引了大量用户的关注和喜爱。

ice_99的博客 1434

温暖的旅馆:手机主动服务背后的秘密

三百万年以前,古人类第一次使用工具,便天然地揭示了人和动物的最大区别。斗转星移,人类缓慢地跨过了石器时代、青铜时代、铁器时代乃至于近代的蒸汽、电气时代。时至今日,信息科技...

脑极体 538

用python玩微信跳一跳系列之-前言

前言 技术无罪,有罪的是掌握技术的人。 开源共享,尊重原创是最起码的道德规范。 本系列博文是严肃的技术讨论帖,非喜勿喷,切勿用于其它用途。 微信跳一跳在2017年12月28日上线,距今天不过短短10天的时间,据报道到其用户数量已经达到了9亿,以全民狂欢人手一玩来描述毫不为过。 在这个过程中,为了能够占据到朋友圈的最高排名,也为了挑战自己的最高分实现自我超越,各种攻略和刷分、物理外挂、脚本

艾克思人工智能学习笔记 2419

搜狗微信文章背后的秘密揭秘:科技力量的精准筛选与合作共赢

尊敬的用户们,你们好!在搜狗微信这个充满生机的平台上,信息丰富,趣事多多,令人流连忘返。今日本着新闻采编专业精神,我愿与您分享如何搜集有关搜狐微信文章背后的小秘密,我们一同踏上奇妙的探索之旅。1.搜狗微信文章采集的技术原理尊敬的读者们,请了解,搜狗微信文章采集背后有着尖端技术的大力支持。

Xgvafdj55的博客 645

微信 服务器架构,微信技术总监周颢:一亿用户背后架构秘密

灰度、灰度、再灰度在变更后的部署方式上,微信在一些规则会限定不能一次把所有的逻辑变更上去,每一次变更一小点观察到每一个环节没有问题的时候,才能布局到全网上去。微信后台每一天可以支撑超过20个后台变更,在业界来说,通常做到5个已经是比较快了,但是微信可以做到快4倍。腾讯内部的上线系统而所谓灰度发布,是指在黑与白之间,能够平滑过渡的一种发布方式。AB test就是一种灰度发布方式,让一部用户继续用A,...

weixin_32743475的博客 974

网盘限速 Out!QQ 闪传带你几秒搞定超大文件传输

QQ闪传:大文件极速传输的黑科技 QQ闪传是腾讯推出的高效文件传输功能,支持单文件高达10GB,实现"秒传+极速下载"。其核心技术包括: 智能传输通道:优先尝试P2P直连或局域网传输,失败时自动切换云端中转,确保速度最大化; 秒传优化:通过文件指纹识别复用云端资源,大幅缩短上传时间; 带宽极限利用:并行分片、断点续传等技术突破传统限速,实测速度可达普通传输的5倍。 相比AirDrop(限于苹果设备)或SendAnywhere(需独立App),QQ闪传依托QQ生态,跨平台、免登录,7天有效

ctips的博客 7834

揭示大模型背后的秘密:探索智能语料采集的算法世界

爬虫算法通常基于一定的种子URL,通过递归访问和解析网页内容,提取出有用的文本信息。6. 机器翻译算法:用于将采集到的多语言文本数据进行自动翻译,以统一语料库的语言。5. 数据清洗和预处理算法:用于对采集到的文本数据进行清洗和预处理,如去除噪音、分词、词性标注等。3. 文本分类算法:用于对采集到的文本数据进行自动分类,如新闻分类、情感分析等。4. 聚类算法:用于对采集到的文本数据进行自动聚类,以发现潜在的主题和类别。7. 数据去重和筛选算法:用于对采集到的文本数据进行去重和筛选,以去除重复和无用的数据。

2401_82629417的博客 863

腾讯微信技术架构 --- 一亿用户增长背后的架构秘密

微信——腾讯战略级产品,创造移动互联网增速记录,10个月5000万手机用户,433天之内完成用户数从零到一亿的增长过程,千万级用户同时在线,摇一摇每天次数过亿...   在技术架构上,微信是如何做到的?日前,在腾讯大讲堂在中山大学校园宣讲活动上,腾讯广研助理总经理、微信技术总监周颢在两小时的演讲中揭开了微信背后的秘密。 周颢,2001年毕业于华南理

cruise技术博客 1041
上一篇: 六大Web负载均衡原理与实现
下一篇: 利用dns解析来实现网站的负载均衡
waveclouds
博客等级 码龄10年 29粉丝 33原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值