微帧ROI视频智能编码:基于人眼感兴趣区域,实现极致观感体验

ROI 编码和动态 GOP技术实现详解 文章摘要:本文介绍了视频编码中的ROI编码和动态GOP技术。ROI编码通过为画面重要区域分配更高码率(如中央区域、游戏UI),非重要区域降低码率来优化画质和码率平衡。动态GOP则根据场景变化智能调整关键帧插入时机,在剧烈变化时插入IDR帧,静止时延长GOP长度。文中提供了基于x265编码器的C++实现框架,包括场景切换检测、QP映射生成等核心逻辑。实验表明,该技术能在保持主观画质的同时降低20%码率,特别适合弱网环境下的视频传输。 阅读详情

"The world is too much with us".

为了更好地认识这个纷繁复杂的世界,人类进化出了一套独特的视觉系统——中央凹成像系统,即当我们看东西时,眼睛聚焦的地方会看得更加清晰,而对于周围区域只能看个大概,这种成像方式既能让我们看清关键物体的细节,又能具有较大的视野。

例如,人在开车时,既能看清前方的路,又能兼顾两侧,这就是中央凹成像系统的功劳。前方的道路和车辆就是人眼主观关注与感兴趣的区域,而对于周边的蓝天、草地等非关注区域,人眼并不会产生过多关注。

正是中央凹成像系统让人类拥有了特殊的视觉注意力机制,在处理复杂视觉信息时,能够迅速将注意力和神经计算资源集中到场景的重要区域上。

由于这样的人眼视觉特殊性,人们在观看视频及图像时,往往会希望主观关注及感兴趣区域能够拥有较高的清晰度,而对于非关注区域,只需要达到基本视觉要求即可。

ROI视频编码技术

ROI:Regions of Interest,感兴趣区域

基于主观质量衡量标准,在视频编码过程中,我们可以对感兴趣区域进行低压缩比,甚至是无损压缩编码,以获得高质量的重建图像,而对非关注区域采用较高压缩率,这就是ROI视频编码技术。

微帧ROI (region of interest) encoding是一项基于感兴趣区域的视频编码技术,即对图像中感兴趣的区域降低量化参数值,从而分配更多码率以提升画面质量,而对不感兴趣的区域则提高量化参数值,从而分配更少码率,在不损失图像整体质量的前提下,降低视频码率。

  

 右图:经微帧ROI智能编码处理后,码率不变,画质大幅提升

ROI视频编码码率分配的基本思路是:在视频编码前,对输入的视频场景进行视觉感知分析以确定感兴趣区域。在编码过程中,通过调整编码参数,为感兴趣区域分配更多码率,使其拥有更好的视觉质量,而其他区域则相应减少分配的码率,因其误差敏感度较低而对整体视频质量影响较小。

在同样的码率限制下,这种码率分配方案的编码结果将会比传统的分配码率的结果有更好的主观视觉质量。

 几类不同的感兴趣区域检测

1)中心区域

屏幕中间或固定其他地方的ROI区域,此类型ROI是基于经验的判断,在正常视频的拍摄手法上通常会将最重要的内容放在画面最中间。

2)人脸

人脸是人最明显的特点之一,在视频中明显位置出现的人脸会很容易被观众注意,因此人脸是最显著的主观敏感区域。

对此ROI区域的编码需要先准确定位人脸,再做针对性地画质调优以及编码参数调优。微帧智能转码系统支持标准版和超低复杂度版本人脸检测,其中标准版处理1080p视频平均在3ms每帧以内;超低复杂度版本在1ms每帧以内。适配秀场、综艺、安防、影视等包含人脸的场景。如下图所示,标准版人脸检测即使在多人脸、遮挡、侧脸、小脸等条件下也能获得较好的检测结果。

 3)人眼聚焦区域(主观感兴趣区域)

人眼聚焦区域数据集一般是通过眼动仪获取。微帧智能转码系统支持标准版和超低复杂度版人眼聚焦区域检测。

3.1 标准版聚焦区域检测

标准版聚焦区域检测,采用眼动仪得到训练样本,有效定位人眼聚集区域,适配绝大部分场景。

 3.2 超低复杂度版聚焦区域检测

超低复杂度版聚焦区域检测,1080P视频CPU单核运算时间在1ms每帧以内,复杂度基本忽略不计。

 4)各个块本身的主观敏感度

x264默认的自适应量化(AQ),仅依据方差大小作为评判依据,对于方差大的块施以更大的量化因子。方差大小的鲁棒性不足,甚至都不能很好地判断平滑程度。如图示例的一维信号,左图的方差比右图更大,事实上左图是比较平滑的。

 以RaceHorses为例,按照x264中的AQ技术,第一行宏块,正好绿色草丛背景块的方差比较小,而涵盖了帽子、人脸、人眼的宏块方差比较大,导致主观敏感的人脸/人眼被施加了较大的delta QP。微帧智能转码系统区分了易被人眼关注的规则纹理,加以保护,在其他编码条件相同的条件下,取得明显改善。

 5G时代的到来,人们对于视频质量的要求愈发高涨,视频码率也呈现出成倍增长的趋势,这给视频运营平台短期内的CDN成本、用户观看体验等方面带来了巨大挑战。

面对这样的挑战,人们不得不继续优化视频编码标准,以提高编码效率。除了不断推出新视频标准之外,ROI编码等AI技术也变得尤为重要。微帧多次主观测评显示,ROI编码与传统编码相比,主观整体视觉效果都有显著提升,在较低带宽的环境下尤为明显。ROI编码技术既能够获得期望的高质量画面,又保持了较低的码率,更好地解决了码率与画质之间的矛盾。

Shopee视频处理技术后台应用 如何在有限网络条件下提供稳定、高清的音视频体验,本文将介绍Shopee在东南亚视频业务落地上的方案,在画质提升上做出的努力,以及一些性能提升成本控制方面的优化。 阅读详情

相关推荐

【待更新】感知视频编码中的感知检测技术(显著性物体检测向)

显著检测分类 显著物体检测

video coding 2657

视频ROI编码的实现、测试和分析方法

1、什么是ROI编码大家可能经常听到ROI这个词,特别是在FFmpeg微信群(@大师兄)。但是通常说的ROI是return on investment,而视频编码ROI是region of interest。简而言之,ROI编码是提高特定区域的视频编码质量。这个特定区域,99%的案例中是人脸区域。2、ROI编码的实现实现ROI编码总共需要两步:找出特定区域(????)提高特定区域编码质量第一步基本上由A...

音视频开发进阶 3479

ffmpeg中的roi encoding介绍

ROI (region of interest) encoding是一项基于感兴趣区域的视频编码技术,对图像中感兴趣的区域减少量化参数值(qp:quantization parameter),从而分配更多码率以提升画面质量,而对不感兴趣的区域则增加量化参数值(qp),从而分配更少码率(这部分区域的画面质量会因此有所下降),这样,在不损失图像整体质量的前提下,可以节省网络带宽占用和视频存储空间,或者...

那遁去的一 5562

基于主观感兴趣区域的视频编码实践

基于主观感兴趣区域的视频编码实践 文 / 谭嵩 整理 / LiveVideoStack 大家好,本次分享我将结合芒果TV音视频技术研发团队的实践,对主观感兴趣区域的视频编码技术进行详细解析。内容包括以上四个部分,其中会重点介绍我们在主观感兴趣区域编码工程化中遇到的一些问题与思考。 1 5G背景下,视频运营平台的新挑战 随着5G时代....

世界那么大,我想去看看~【随心更新,看世界去了😄】 2990

技术分享| 探索视频感知编码

一.什么是视频编码 视频编码就是指通过压缩技术,将原始视频格式的文件转换成另一种视频格式文件的方式。视频流传输中最为重要的编解码标准有国际电联的H.261、H.263、H.264、H265,Google公司主推的VP8、VP9,运动静止图像专家组的M-JPEG和国际标准化组织运动图像专家组的MPEG系列标准,此外在互联网上被广泛应用的封装格式还有Real-Networks的RealVideo、谷歌公司的WebM、微软公司的WMV以及Apple公司的QuickTime等。 那么视频编码技术到底是什么呢?首先视

anyRTC的博客 3651

ffmpeg编码越来越小_ffmpeg中的roi encoding介绍

ROI (region of interest) encoding是一项基于感兴趣区域的视频编码技术,对图像中感兴趣的区域减少量化参数值(qp:quantization parameter),从而分配更多码率以提升画面质量,而对不感兴趣的区域则增加量化参数值(qp),从而分配更少码率(这部分区域的画面质量会因此有所下降),这样,在不损失图像整体质量的前提下,可以节省网络带宽占用和视频存储...

weixin_29463587的博客 966

揭秘:腾讯会议背后的视频编码“神器”

导语 | 作为一款实时音视频通信产品,腾讯会议里面有海量的音视频数据需要进行实时传输,比如我们的摄像头画面,屏幕分享的数据等。这些数据量非常庞大,通常需要经过编码压缩再进行传输,那么腾讯...

QcloudCommunity的博客 2511

福州大学《嵌入式系统综合设计》 实验九:ROI视频编码

感兴趣区域ROI的视频编码的基本方法如图所示,对于输入视频帧序列,通过特定的算法和视频帧本身的特性,提取出感兴趣区域和不感兴趣区域掩膜,并将其作为控制信息输入到视频编码器中,用其控制编码器编码当前帧相应的编码参数,包括量化参数,运动估计时的搜索区域大小和参考帧数目,以及预测模式范围等。我们在实验8的基础上,在编码前设置图像不同区域的编码QP。QP 越大,编码单元丢失的细节越多,图像的失真度增加,质量下降,同时码率也降低,随着 QP 的减小,编码单元的细节保留的增多,在提高质量的同时增大了码率。

斯黄人民的博客 1392

采用HEVC开源代码kvazaar实现感兴趣区(ROI)编码

采用kvazaar实现ROI编码的命令参数如下,特别注意控制roi的txt文本的写法,我的例子中roi2.txt 的内容是:3 32 1 01 0 10 1 2第1行两个3分别代表delta QP map的宽和高,因为是3行x3列=9,所以在第2-4行分别给出了9个delta QP值。另一个例子:第1行5和10分别代表delta QP map的宽和高,因为是5行x10列=50,所以在第2-6行分别...

utacxl的博客 3092

【Python机器学习实战】 | 基于PCA主成分分析技术读入空气质量监测数据进行数据预处理并计算空气质量综合评测结果

主成分分析(Principal Component Analysis, PCA)是一种常用的机器学习和数据分析技术,用于降低数据维度、识别数据中的模式、发现变量之间的关系等。

一伦明悦的博客 1265

XCKU060光纤卡学习资料保存:基于kintex UltraScale XCKU060的双路QSFP+光纤PCIe 卡

基于kintex UltraScale XCKU060的双路QSFP+光纤PCIe 卡 一、板卡概述 本板卡系我司自主研发,基于XilinxUltraScaleKintex系列FPGAXCKU060-FFVA1156-2-I架构,支持PCIEGen3x8模式的高速信号处理板卡,搭配两路40GQSFP+接口,两组64-bitDDR4,每组容量8Gbyte,可稳定运行在2400MT/s。板卡具有自控上电顺序,BP...

3075

其他人提出的一些ROI编码方法

我大概把这些方法分成了两大类第一大类是基于位平面位移的.基于位平面位移的方法,在我看来,基于位平面位移的方法,到目前为止基本上接近于饱和状态,此类中,主要的方法有四种,---第一种是Maxshift-like method(2001),该方法首先应用一般位移方法位移位平面,然后将ROI和背景重合的位平面设置为0,这样避免ROI和背景有重合的部分,可以采用最大位移方法来编码.但是这种方法对图像产生很

企鹅菜园 2505

2025浏览器指纹伪装终极指南:Playwright修改WebGL+时区+分辨率,小红书爬1000条零验证

2025年小红书的反爬已经进入“多维校验”时代,单纯修改某一个指纹维度已失效。本文方案的核心是“让所有特征都一致且合理”——WebGL+Canvas+时区+分辨率+UA+行为,形成一个完整的“真实用户画像”,让小红书的反爬系统无法区分是爬虫还是真人。这套方案不仅适用于小红书,也可迁移到知乎、抖音、跨境电商等其他高反爬平台,只需替换对应的指纹库和数据提取逻辑。记住:指纹伪装的本质不是“欺骗”,而是“模拟真实”,把每个细节都做到和人类一致,自然就能实现“零验证”爬取。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 3072

【深度学习小知识】ROI到ROI pooling 再到ROI Align

ROI!RoI Pooling!ROI详解RoI Pooling详解Pooling操作ROI poolingROI Align详解 ROI详解 Region of interest(ROI),中文译为感兴趣区域。在计算机视觉领域,从输入的图像中框选处理待处理的区域就是ROI。 ROI / Region proposals大致过程: 输入一张图片 在图片中找到物体/目标(objects)的所有位置 输出/获得这些一系列的objects的bounding box. RoI Pooling详解 Pooli

Leomn_J的博客 8571

Obsidian笔记同步实战:基于Git的私有化部署与自动化管理

本文详细介绍了如何利用Git为Obsidian笔记构建私有化、自动化且免费的同步方案。通过安装配置Git与Obsidian-git插件,结合Gitee等远程仓库,实现笔记的版本管理、多设备同步与自动备份,打造安全可靠的知识管理体系。

y7z8a的博客 274

IAR9.30以上版本安装、注册、新建工程和配置过程详细介绍

IAR 一般是指一款嵌入式软件的集成开发环境,类似于 MDK-Keil 这款软件。IAR 对于不同的内核处理器,是对应不同的 IAR 软件的,IAR 到目前为止支持大部分的MCU,比如8051系列、ARM架构系列、MSP430系列、AVR系列等等这些常用的芯片架构。对于 ARM 架构的芯片,有对应的 IAR Embedded Workbench for ARM 软件平台,因为我主要是使用 ARM 架构芯片,下面安装、注册和使用都是基于这个版本进行介绍的。

luobeihai的博客 6万+

智能感知编码优化与落地实践

基于人眼视觉特性出发的感知编码优化技术,成为互联网短视频、OTT 等 UGC 场景的重点优化手段,可以在降低视频码率的同时,提升视频的观看体验。

lihui49的博客 1005

【Bug已解决】Codex CLI 运行时出现 command not found: codex 解决方案

方案适用场景推荐指数修复 PATH 配置最常见的基础排查方向⭐⭐⭐⭐⭐检查原生二进制完整性PATH 正常但执行仍然异常⭐⭐⭐⭐统一包管理器混用多种包管理器导致混乱⭐⭐⭐⭐确认安装脚本未被跳过CI/CD 或企业策略环境⭐⭐⭐⭐排查网络下载渠道企业内网/受限网络环境⭐⭐⭐需要留意 warning 中是否涉及脚本执行失败、网络超时重试等信息,这类 warning 往往是后续问题的前兆,建议出现明显的下载/网络相关警告时就主动重新安装一次确认。Codex CLI 报。

一键难忘的博客 1万+

x265 qgsize参数作用

qgsize,x265

fantasy_ARM9的博客 763

[QMT和ptrade量化交易小白入门]-109、小市值选股的基础上用六脉神剑评分,回测年化可到132%

本专栏主要是介绍QMT和ptrade的基础用法,常见函数,写策略的方法,也会分享一些量化交易的思路,大概会写200篇左右。QMT的相关资料较少,在使用过程中不断的摸索,遇到了一些问题,记录下来和大家一起沟通,共同进步。

木头大左的博客 1872

基于STM32的家庭环境监测毕业设计(全部资料)

本文设计并实现了一套基于STM32的家庭环境监测系统,具备温湿度、烟雾浓度和PM2.5检测功能,通过OLED屏实时显示数据,并能自动或手动控制风扇、加湿器等设备。系统采用分层架构设计,包含数据采集、处理、显示和控制执行模块,经测试性能稳定可靠。研究结果表明,该系统能有效提升家庭环境监测与控制的智能化水平,但仍存在传感器精度和智能化程度不足等问题,未来可进一步优化硬件配置并引入AI算法提升性能。

3254968421的博客 463

ROI感兴趣区域提取与泛洪填充

ROI提取和泛洪填充

weixin_45769285的博客 3233

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

libaom 编码参数详细介绍:扩展编码参数解析

libaom 编码参数详细介绍--3:扩展编码参数解析

世界那么大,我想去看看~【随心更新,看世界去了😄】 1562

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

ROI是什么,为什么抖音这么重视ROI?

抖音等短视频媒体平台的主要收入来源之一是广告。通过测量ROI,客户可以了解他们在广告上的投资是否划算,即他们是否能够通过广告获得更多的销售额、品牌知名度提升或其他相关利益。简而言之,ROI是衡量投资效益的重要工具,对于抖音这样的平台来说,高ROI不仅意味着更高的广告收入,也是吸引和保留广告客户的关键因素。通过精确的ROI分析,抖音可以提供更有效的广告解决方案,从而在竞争激烈的市场中保持优势。:通过提供高ROI的广告方案,抖音可以增加客户的满意度和忠诚度,从而在竞争激烈的社交媒体市场中保持竞争力。

genli2774的博客 7675

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

监控视频压缩3—CODEC INDEPENDENT REGION OF INTEREST VIDEO CODINGUSING A JOINT PRE- AND POSTPROCESSING FRAME

论文:《CODEC INDEPENDENT REGION OF INTEREST VIDEO CODING USING A JOINT PRE- AND POSTPROCESSING FRAMEWORK 》 1 摘要 对于低比特场景,传统视频编码无法同时满足低比特率和高质量。相对于ROI编码方法通过仅提升ROI区域的质量得到了高效的压缩比。本文不仅传输ROI区域,并且通过全局运动补偿来重建非ROI区域。之前的ROI编码系统修改了视频编码来控制独立块的编码,本文提出了编码和ROI独立的前后处理

Eva_Hua的专栏 1166

一文看懂:史上最通俗的视频编码技术详解

1、引言   如今我们所处的时代,是移动互联网时代,也可以说是视频时代。从快播到抖音,从“三生三世”到“延禧攻略”,我们的生活,被越来越多的视频元素所影响。      而这一切,离不开视频拍摄技术的不断升级,还有视频制作产业的日益强大。    转存失败重新上传取消   此外,也离不开通信技术的飞速进步。试想一下,如果还是当年的56K Modem拨号,或者是2G手机,你还...

码农崛起 1万+
上一篇: EDG夺冠时刻,微帧助力虎牙打造极佳观看体验
下一篇: 视频质量评价 VMAF,为何让人又喜又忧?
微帧Visionular
博客等级 码龄5年 88粉丝 42原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值