码率减半,画质翻倍!新一代视频标准 DAMO266 技术应用全解析

图片

视频编解码技术

视频编解码技术与常见的直播、短视频、影视平台等视频应用息息相关,是所有视频应用的底层技术支撑。视频编解码技术经过了漫长的演进发展,自 20 世纪 90 年代开始,国际组织 ITU 、ISO/IEC开始组织制定视频编解码技术标准,先后发展出了 H.261、MPEG-1、H.262/MPEG-2、H.264/AVC、H.265/HEVC 和 H.266/VVC 等几代标准。期间,业界其他公司或行业组织也提出了 VP8、VP9、AV1、AVS 等技术标准。这些技术标准与视频应用相辅相成,互相促进,例如 90 年代流行的 VCD 视频光盘就采用 MPEG-1 编码技术,之后的 DVD、Blu-ray 视频光盘分别采用 MPEG-2 和 H.264 编码。如今,新一代流媒体、视频网站、视频拍摄和播放设备则主要应用 H.265 和 H.264 编码。

随着视频编码技术不断迭代,每一代新编码技术支持的主流视频画质都会有明显提升。例如 MPEG-1 支持的分辨率是 352x288 级别,MPEG-2 则支持到 720x576 级别。伴随着 1080p 高清视频开始流行,H.265 则满足了 4k 分辨率时代的需求。此外,由于每代新技术都会降低同等画质下的视频码率需求,以 H.264/H.265 为代表的新一代编码推动了移动设备上高清视频应用的普及。

2020 年定稿并开始发展的 H.266 视频编码规范是目前应用中的最新一代标准。它能够帮助现有视频应用进一步降低码率带宽需求,同时也为更新的视频应用,例如 8k 超高清和 VR/AR 视频的推广打下了技术基础。相较上一代 H.265 标准,H.266 在同等画质下可以降低 50% 的码率需求,相比 AV1 标准也有超过 20% 的节约。

阿里巴巴达摩院视频技术实验室多年来坚持投入 H.266 相关技术研发。一方面,为 H.266 等国际视频标准贡献了大量重要提案,持有大量 H.266 的标准必要专利;另一方面,自研的 DAMO266 编解码器也进一步推进了 H.266 标准的成熟应用。

目前,优酷、阿里云视频云点播/直播/媒体处理、支付宝、钉钉等亿量级视频平台和应用均已接入 DAMO266 编解码器,涵盖了长短视频、直播等领域。DAMO266 也成为了国内互联网视频平台首个大规模应用的 H.266/VVC 视频编解码器。

图片

DAMO266 编码器业务应用

DAMO266 编码器的开发目标是提供极致画质的视频观影体验。该编码器性能覆盖了 240p-8k 分辨率、25-120fps 帧率的视频业务,在 1080p 分辨率,使用相同的 1Mbps 码率设置下,DAMO266编码的PSNR相比 x265 编码提升接近 9dB。

与此同时,在相同的编码速度条件下,DAMO266 编码器相比 VVenC、SVT-AV1、x265 等先进编码器有平均 10-50% 的码率节省优势,在视频点播等场景中具有更出色的表现。

图片

DAMO266 编码器为了在提供极高视频压缩率的同时,保证足够快的编码速度,自研了一系列技术创新:

  • 在前处理算法方面,应用了屏幕内容检测、场景检测等多种算法,可以根据重要性分配码率,针对不同场景使用不同的编码工具;

  • 在内容智能感知编码方面,对于有 ROI 标记的区域,编码器可以关闭主观敏感的快速算法,同时开启更多质量优化算法,并支持 CU 级别精细调整和外部接口的灵活接入;

  • 支持灵活的码控方式,如 ABR/CRF 等常见码控方式,与线上已有的编码器进行完美的质量对齐,实现 H.266 的平滑上线;

  • 支持动态 VMAF 算法,可以利用当前帧的预处理信息与已编码帧的重建图像来估算 VMAF(视频质量评分)值,从而精准控制输出质量,保持编码质量稳定。

在直播场景真实业务中,DAMO266 编码器对比 x265、VVenC 等编码器有着显著的速度和性能提升。达摩院视频技术实验室解决了 H.266 编码所需的计算量过高,导致编码速度显著下降的问题,DAMO266 编码器直播档位相比 x265 Fast 档位,在相同编码速度时码率可以节约 35%;相比开源领域最快的 VVenC 编码器的 Faster 档位,相同码率时编码速度达到后者 4.5 倍。这样的速度和码率表现能够更好地支撑直播业务的需求。

DAMO266 编码器还支持主播 PC 端直接编码,2017年之后的 Windows PC 可以实现 4k 实时编码,主播直播视频经过本地编码后,无需转码直接发送到观众侧。达摩院还为云端服务器优化了编码器系统需求,支持 2017 年开始的服务器 CPU 即可用于 DAMO266 转码集群建设,从而降低了云端部署编码器的门槛和成本。

图片

DAMO266 解码器业务应用

在 H.266 视频解码场景中,视频解码所需的高计算量是行业面临的最大挑战。尤其是在当下,主流视频播放设备尚不具备 H.266 视频硬解码能力,2024年刚刚开始有第一款支持 H.266 硬解的手机发售,但由于手机换代周期等因素,支持 H.266 硬解码的智能手机的大规模铺货需要到2026年左右。

在硬解码条件缺失的背景下,H.266 软解码所带来的卡顿、功耗增加等问题就会更加凸显。

针对上述挑战,达摩院视频技术实验室做了大量优化工作。目前 DAMO266 解码器已经覆盖了 99% 的中低端智能手机芯片,我们在2017年后发布的苹果、高通骁龙、联发科等手机芯片都可以实现 1080p 视频流畅软解码,在低分辨率的领域,我们最低甚至覆盖到iPhone 5S即可开启DAMO266视频软解播放。

在解码速度方面,DAMO266 仅需要 CPU 单线程就能满足 1080p 120fps 解码需求,多线程解码速度超过了 H.265,是 VVdeC 解码速度的 2 倍以上。与此同时,DAMO266 解码器还对内存占用做了大量优化,以确保老旧低端机型的稳定播放。

针对用户非常关注的功耗层面,DAMO266 解码器在 720p 档位相比 H.265 硬解功耗只增加了 2.2%。而在 1080p60fps 档位,DAMO266 解码器每小时的解码+屏幕播放的总耗电量也只有手机电池容量的 5-10%。尤其在最新机型上,每小时播放总耗电量可以低至手机电池容量的 3% 左右。由此一来,使用 DAMO266 软解带来的功耗增加,在用户感知上并不明显。

达摩院还对多款发布时间 2-5 年内的主流智能手机进行了 DAMO266 视频解码温控测试。结果发现,1080p60fps 视频播放期间,手机平均温度变化都在 1 摄氏度以内,没有发热感,体现了该解码器优异的温控特性。

除上述优化外,达摩院还同 vivo、优酷两大合作伙伴联合研发了DAMO266异构解码优化方案,使 DAMO266 解码器的峰值解码帧率提升了 17%,视频播放耗电进一步降低了 10%。该方案利用了 vivo 提供的异构计算空间能力,将解码过程中计算量较大的模块从 CPU 迁移到异构计算空间中,从而降低 CPU 的解码运行频率,实现了能耗降低的效果。

2024 年,达摩院还同高通合作,在全新的骁龙X Elite 平台上实现了 DAMO266 的 4K120fps 低功耗解码能力。DAMO266 解码器也是最早适配 X Elite 平台的先进解码器之一。如今,DAMO266 解码器已经实现 Windows、macOS 和 Web 全平台覆盖,同时支持 x86 和 ARM 指令集架构。

同时,H.266 硬解生态也在持续演进。2024 年,已有 3 家市占率总计超过 70% 的头部电视芯片厂商发布了支持 H.266 硬解的解码芯片,6 家头部电视厂商发布了支持硬解 H.266 的电视产品,过去一年内支持 H.266 硬解的电视终端数量增长了 8 倍。

图片

H.266 编解码技术应用优势

DAMO266 编解码器大大推动了 H.266 技术的普及应用,为视频应用厂商创造了可观的价值。经过测算发现,假设某视频平台日均峰值并发播放人数为 10 万人观看 1080p 视频流,那么从 x264 转向 DAMO266 技术后,由于单流码率从 2Mbps 下降到了 600kbps,峰值总带宽需求从 200Gbps 下降到 60Gbps,平台每月节省的带宽成本就达到了 112 万元。

图片

DAMO266 编解码器对客户体验也能提供很高的收益。终端用户最明显的感知就是观看视频时的流量消耗明显下降,相比过去的 x265 可以节约 50% 之多。与此同时,DAMO266 的视频卡顿率相比 x265 也有超过 50% 的下降,秒播率(视频点击一秒内开始播放的比例)亦能提升 5% 左右。

图片

总结

随着 DAMO266编解码器的广泛应用,H.266 视频标准已经不再是遥远的未来,而是当下成熟、流行的视频应用底层标准。对 DAMO266 技术感兴趣的用户可以通过阿里云调用其能力,也可以直接后台私信我们。

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值