阿里云CloudImagine

MSU2022世界编码器大赛

LiveVideoStackCon2023上海站，阿里云视频云专场系列演讲-2

窄带高清

倚天 X 视频云

7.28，LiveVideoStackCon阿里云视频云专场

MSU2022世界编码器大赛

云渲染串流技术

基于云计算的大规模实时渲染技术，让每个人都拥有了“数字生命”。

Ali266超高清

央博 X 阿里云

窄带高清

视频云x倚天ECS

随着信息技术的发展，人们对实时通信的需求不断增加，并逐渐成为工作生活中不可或缺的一部分。每年海量的音视频通话分钟数对互联网基础设施提出了巨大的挑战。尽管目前全球的互联网用户绝大多数均处于良好的网络状况，但仍有不少地区处于极差的网络条件下，除此之外，即使在网络良好区域，也仍会存在弱网现象。那么如何在有限的带宽下提供高质量的音频体验就成为了一个非常重要的研究方向。在过去的几十年间，语音或音频的编码技术都涉及大量特定领域的知识，例如语音生成模型。近些年，随着深度学习类算法的快速发展，逐渐涌现出了多种基于神经网

CVPR（IEEE Conference on Computer Vision and Pattern Recognition）作为计算机视觉和模式识别领域的顶级会议，在全球具有极高的权威性。目前在中国计算机学会推荐国际学术会议的排名中，CVPR为人工智能领域的A类会议 。凭借在人脸生成领域的扎实积累和前沿创新，阿里云视频云与香港科技大学合作的最新研究成果《基于生成对抗网络的深度感知人脸重演算法》(Depth-Aware Generative Adversarial Network for Talkin

在线视频/语音通话逐渐成为人们日常生活的一部分，而复杂多变的网络环境会导致部分音频包无法传送到接收端，造成语音信号的短时中断或者卡顿，这会严重影响通话体验，为解决这类问题，阿里云视频云音频技术团队在综合考虑效果、性能开销、实时性等诸多因素后，研发了实时因果的智能丢包补偿算法 AliPLC (Ali Packet Loss Concealment)，采用低复杂度的端到端的生成对抗网络来解决语音在传输过程中的丢包问题。实时通信中，信号不好怎么办？随着互联网技术的飞速发展，直播，在线教育，音视频会议，社交

最近，最炙烈的话题莫过于刘畊宏的男孩女孩们。刘畊宏的燃脂健身直播刷屏网络，掀起了一阵狂热不退的居家健身潮，以周杰伦的《本草纲目》为旋律的毽子舞，更是引发了全民打卡热。于是，程序员圈是怎么游刃于这波热潮的？阿里云程序员化身“刘畊宏男孩”当程序员化身“刘畊宏男孩”一则程序员的“本草纲目”让大家预热体会一下“人体姿态估计算法”。短视频中，阿里云视频云工程师身上酷似“火柴人“的造型，便是将“人体姿态估计算法”可视化，而人体姿态识别是计算机视觉中的重要任务，也是计算机理解人体的动作、

音视频会议，直播连麦以及短视频已经成为人们工作、教学以及娱乐的一部分，其背后都离不开音视频实时通信等关键技术的广泛应用。音频方面，可预见的是客户业务形式的多样性，环境的复杂性，以及接入设备的差异性会带来的一系列问题，我们意识到单一场景的技术与策略已经无法满足日趋暴露的线上问题，音频前处理 3A（AEC，ANS, AGC）算法走向全场景自适应才是唯一出路。为了解决复杂环境中的噪声问题，我们上线了 AliCloudDenoise - 语音增强算法，补强了传统降噪技术在非稳态噪声抑制方面的缺陷；为了解决音量问题，

凭借在人脸生成领域的扎实积累和前沿创新，阿里云视频云与香港科技大学合作的最新研究成果《基于生成对抗网络的深度感知人脸重演算法 》（Depth-Aware Generative Adversarial Network for Talking Head Video Generation）被 CVPR2022 接收。本文为最新研究成果解读。论文题目：《Depth-Aware Generative Adversarial Network for Talking Head Video Generation》a

过去的一年见证了人类百年不遇的大事记，也见证了多种视频应用的厚积薄发。而因此所带来的视频数据量的爆发式增长更加加剧了对高效编解码这样的底层硬核技术的急迫需求。新视频编解码标准 VVC 定稿不久之后，阿里巴巴的视频团队开始全力投入开展 VVC 软件编解码的开发工作。在 LiveVideoStackCon 2021 北京峰会，阿里巴巴研究员，阿里云智能云视频标准与实现负责人叶琰老师展开分享视频业界现状、Ali266 自研 VVC 编解码器的技术演进史和业务展望、以及视频业界所面临的未来机遇和挑战。文 |

阿里云自研编码器Ali266于2022年1月在优酷正式上线，这是已知的业界首个H.266/VVC标准的编码器商用落地项目。经过两个月的实际运行数据显示，开启Ali266后，同等画面清晰度的情况下比原H.265/HEVC方案码率最高节省40%，卡顿率降低50%，充分证明了Ali266的商用价值。这是已知的全世界最快的H.266/VVC编码器Ali266，是阿里云基于最新一代国际视频编码标准H.266/VVC所打造的面向点播、直播、实时通信等不同场景的编解码实现。基于Ali266演化而来的自研H.2

近日，阿里云视频云音频技术团队与新加坡国立大学李海洲教授团队合作论文 《基于时频感知域模型的单通道语音增强算法 》(Time-Frequency Attention for Monaural Speech Enhancement ) 被 ICASSP 2022 接收, 并受邀于今年 5 月在会议上向学术和工业界做研究报告。ICASSP（International Conference on Acoustics, Speech and Signal Processing）是全世界最大的，也是最全面的融合信号处

超分让在线会议语音更明亮，在线会议已成为日常工作中较为普遍的沟通交流方式，接入会议的方式也呈现多样化，比如电脑入会、手机入会又或是电话入会。雪雅、曜辰｜作者众所周知，高采样率且高带宽的音频信号富含丰富的频率成分，能够带给人们更身临其境的听觉体验。但在线会议中，电话入会又或是因设备等原因导致原始采集带宽过低的场景中，带给人们的直观感受表现为听对方说话比较闷，严重影响会议体验。在信号处理中，语音超分技术可以用来处理这类情况，它可以最大限度地从低带宽的音频信号中重建出其高频成分，让语音信号听起来更“明亮、

音视频消费的新场景催生了越来越多新的技术需求，从当下的直播、点播、RTC，到未来的 XR 和元宇宙，音视频技术对新场景的支撑越来越趋向于综合性，近年来 AI 算法发展迅猛，但是较好的算法效果往往需要消耗很大的算力资源，这使算法商业化落地面临非常大的挑战。我们应该如何充分发挥软硬一体的能力？如何有效平衡算法效果和性能？在 LiveVideoStackCon2021 北京峰会，阿里云智能视频云高级算法专家杨凤海，从阿里云视频云的最新场景探索出发，带来了阿里云视频云在虚拟背景、视频超分等方向的最佳创新实践经验分

阿里云视频云视频编码与增强技术团队最新研究成果论文《基于可变形卷积的压缩视频质量增强网络》（Deformable Convolution Dense Network for Compressed Video Quality Enhancement）已被 ICASSP 2022 Image, Video & Multidimensional Signal Processing 主题会议接收，并受邀在今年5月的全球会议上向工业界和学术界进行方案报告。以下为技术成果的核心内容分享。佳芙｜作者背

1. 引言10月11-17日，万众期待的国际计算机视觉大会 ICCV 2021 (International Conference on Computer Vision) 在线上如期举行，受到全球计算机视觉领域研究者的广泛关注。今年阿里云多媒体 AI 团队（由阿里云视频云和达摩院视觉团队组成）参加了 MFR 口罩人物身份鉴别全球挑战赛，并在总共5个赛道中，一举拿下1个冠军、1个亚军和2个季军，展现了我们在人物身份鉴别领域深厚的技术积淀和业界领先的技术优势。2. 竞赛介绍MFR口罩人物身份鉴别全球挑.

7 月 31 日，阿里云视频云受邀参加由开放原子开源基金会、Linux 基金会亚太区、开源中国共同举办的全球开源技术峰会 GOTC 2021 ，在大会的音视频性能优化专场上，分享了开源 FFmpeg 在性能加速方面的实战经验以及端云一体媒体系统建设与优化。众所周知，FFmpeg 作为开源音视频处理的瑞士军刀，以其开源免费、功能强大、方便易用的特点而十分流行。音视频处理的高计算复杂度使得性能加速成为 FFmpeg 开发永恒的主题。阿里云视频云媒体处理系统广泛借鉴了开源 FFmpeg 在性能加速方面的经验，同

2021 年 2 月，“新内容 新交互” 全球视频云创新挑战赛启幕。本次大赛由英特尔联合阿里云主办，与优酷战略技术合作，天池平台和阿里云视频云团队共同承办。大赛自开赛以来，吸引了全球超过 4600 名选手报名参赛，我们遴选了参赛选手中优秀案例和动人故事，一起走进视频云挑战者的世界。“飘香猪扒饭” — 一个引人食欲的名字，而这只队伍也是由三名不折不扣的 “小鲜肉” 组成，他们都来自于杭州电子科技大学，分别是队长叶晴昊，两名队员沈希乐和王子瑞。在此次视频云全球创新挑战赛的算法赛中，“飘香猪扒饭” 一路披..

2021 年 2 月，“新内容 新交互” 全球视频云创新挑战赛启幕。本次大赛由英特尔联合阿里云主办，与优酷战略技术合作，天池平台和阿里云视频云团队共同承办。大赛自开赛以来，吸引了全球超过 4600 名选手报名参赛，我们遴选了参赛选手中优秀案例和动人故事，一起走进视频云创业创新者的世界。私家车，已经成为了现代社会必不可少的交通工具。根据公安部统计，2020 年，全国机动车保有量达 3.72 亿辆，随着私家车数量的井喷，停车场安全事故也频频发生，特别是由于汽车盲区造成的儿童伤亡事故，成为了现实的安全隐患。根据

2021 年 2 月，“新内容 新交互” 全球视频云创新挑战赛启幕。本次大赛由英特尔联合阿里云主办，与优酷战略技术合作，天池平台和阿里云视频云团队共同承办。大赛自开赛以来，吸引了全球超过 4600 名选手报名参赛，我们遴选了参赛选手中优秀案例和动人故事，一起走进视频云创业创新者的世界。5 月 11 日国家统计局发布了第七次全国人口普数据 —— 我国 60 岁及以上人口的比重达到 18.70%，其中 65 岁及以上人口比重达到 13.50%，如何让老年人 “老有所养，老有所依” 成为了社会的热议话题。来.

作者｜羿川审校｜泰一虚拟背景依托于人像分割技术，通过将图片中的人像分割出来，对背景图片进行替换实现。根据其使用的应用场景，大体可以分成以下三类：直播场景：用于氛围营造，例如教育直播、线上年会等；实时通讯场景：用于保护用户隐私，例如视频会议等；互动娱乐场景：用于增加趣味性，例如影视编辑、抖音人物特效等。实现虚拟背景需要用到哪些技术？实时语义分割语义分割旨在对图像的每个像素进行标签预测，在自动驾驶、场景理解等领域有着广泛的应用。伴随移动互联网、5G 等技术的发展，如何在算力受限的终端设备进

6 月 19-25 日，备受全球瞩目的国际顶级视觉会议 CVPR2021（Computer Vision and Pattern Recognition，即国际机器视觉与模式识别）在线上举行，但依然人气爆棚，参会者的激情正如夏日般火热。今年阿里云多媒体 AI 团队（由阿里云视频云和达摩院视觉团队组成，以下简称 MMAI）参加了大规模人体行为理解公开挑战赛 ActivityNet、当前最大时空动作定位挑战赛 AVA-Kinetics、超大规模时序行为检测挑战赛 HACS 和第一视角人体行为理解挑战赛 EP.

阿里云智能视频云 资深技术专家王豪（天野）2010 年毕业于华中科技大学，此后投身多媒体方向的技术开发，从流媒体、视频编码、视频处理到质量评价均有涉及，并从零开始打造了一款广泛商用的视频编码器及其前后处理系统。加入阿里云视频云后，负责视频编码与增强算法，团队聚焦在视频编码、视频前后处理以及质量评价方向，并重点研发演进窄带高清技术。此次作为 LiveVideoStackCon 2021 的讲师，王豪与我们分享其对编码优化的思考与发现。Q1.你最近关注的技术趋势？有哪些是你认为比较有发展前景的？我个人.

近年来随着智能移动终端和互联网的快速发展，视频数据呈现指数级增长。视频目标分割拥有众多的消费落地场景，特别是最近火爆的视频会议、视频直播、短视频制作等场景中的应用极为广泛，因此如何为用户打造更智能、更优质、更沉浸的体验，实现对视频中兴趣对象的高精度自动分割，成为了非常热门的研究方向。由阿里云视频云主办的全球视频云创新大赛，在算法赛道重点攻克视频目标分割方向，就此，我们展开了解这项技术的发展、价值和关键要素。作者｜中间业界公认的技术难点视频目标分割（Video Object Segmentation，.

2021年5月，由阿里云联合英特尔共同主办，与优酷战略合作、天池平台承办的“新内容 新交互”全球视频云创新挑战赛初赛圆满落幕。经过近三个月的激烈角逐，52支入围队伍，从全球23个国家的4600余支参赛队伍中脱颖而出，进入到复赛阶段的比拼中。本次大赛，是全球首个聚焦于视频云技术在全行业的应用与创新领域的比赛，分为算法赛道和创新应用赛道两大板块。算法赛道以目前业界极为关注的视频分割为赛题，以期打造中国的“CVPR竞赛”；而应用创新赛道，则鼓励参赛选手从行业痛点出发，挖掘视频云技术在各个行业场景中的应用，创造出

被誉为计算机视觉领域 “奥斯卡” 的 CVPR 刚刚落下帷幕，2021 年首届 “新内容 新交互” 全球视频云创新挑战赛正火热进行中，这两场大赛都不约而同地将关注点放在了视频目标分割领域，本文将详细分享来自阿里达摩院的团队在 CVPR DAVIS 视频目标分割比赛夺冠背后的技术经验，为本届大赛参赛选手提供 “他山之石”。作者｜负天与图像识别不同，AI 分析理解视频的技术门槛较高。长期以来，业界在视频 AI 技术的研究上鲜有重大突破。以 CVPR 会议难度最高的比赛之一 DAVIS（ Densely .

2021.4.16-4.17，阿里云视频云亮相 LiveVideoStackCon 音视频技术大会上海站，带来三场不同视角的主题演讲，并与众多行业伙伴一同交流。在 “编解码的新挑战与新机会” 专场，视频云的资深技术专家深度分享了 “窄带高清” 技术演进思路。窄带高清是一套以人眼的主观感受最优为基准的视频编码技术，研究在带宽受限的情况下，如何追求最佳的视觉感受。阿里云早在 2015 年就提出了该技术概念，在 2016 年正式推出窄带高清技术品牌并产品化，自提出便促动整个行业开始逐步引用该概念，形成了行业共.

"内容视频化、交互线上化" 已成为时代的显性趋势，无形于社会日常和企业转型中，并持续渗透之势。这场变革背后的动能，源于视频云。视频云正在驱动下一代技术浪潮，驱动新价值与新商业的生成。视频云的核心在于为各行各业提供更低成本、更低门槛、更强体验、全民共享的技术普惠能力。技术带来云端一体的双端体验一致性、弹性伸缩增强业务的可拓性、更低延时构成强互动性，从而可以创造出了众多新场景、新领域、新物种。视频云技术终将成为全行业通用的底层能力和数智化重构的强劲引擎。“新内容新交互” 全球视频云创.

阿里云视频云的标准与实现团队与香港城市大学联合开发了基于 AI 生成的人脸视频压缩体系，相比于 VVC 标准，两者质量相当时可以取得 40%-65% 的码率节省，旨在用最前沿的技术，普惠视频通话、视频会议、在线教育等重要应用领域。作者｜王钊 、叶琰、王诗淇审校｜ 泰一https://v.youku.com/v_show/id_XNTE0MTQ1MzgxNg==.html基于 AI 生成的人脸视频压缩继线上购物、线上支付后，在线教育、在线办公、在线互娱也流行起来，丰富着我们的日常工作生活，其中一.

前几天小伙伴们是不是都被魔性的「蚂蚁呀嘿」刷屏了？其实背后的技术含量并不复杂，主要依靠的是换脸技术和自动节奏检测，算法会找到节奏点，在这些节奏点摇脸换表情，这样一支魔性而上头短视频就诞生了。今天为大家一一解构那些网络神曲，分享音乐信息检索算法，带你理性看神曲，或许下一个网络神曲缔造者就是你！作者：意姝审校：泰一什么是音乐？《礼记》里说，“凡音者，生人心者也，情动于中，形于声，声成文，谓之音”，音是表情达意的一种方式。从乐理上讲，通常音乐是由节奏、旋律、和声这三要素构成的，十二平均律这些律式和数学紧密

MP4 文件格式又被称为 MPEG-4 Part 14，出自 MPEG-4 标准第 14 部分 。它是一种多媒体格式容器，广泛用于包装视频和音频数据流、海报、字幕和元数据等。（顺便一提，目前流行的视频编码格式 AVC/H264 定义在 MPEG-4 Part 10）。MP4 文件格式基于 Apple 公司的 QuickTime 格式，因此，QuickTime File Format Specification 也可以作为我们研究 MP4 的重要参考。作者：张武星审核：泰一OverviewMP4 文件