阿里云CloudImagine

LiveVideoStackCon2023上海站，阿里云视频云专场系列演讲-1

保障弱网场景下的音视频用户体验

7.28，LiveVideoStackCon阿里云视频云专场

DCDN 助力云原生时代的应用构建及最佳实践

2022是“体育超级大年”，冬奥会、亚运会、大运会、世界杯等各类大型体育赛事贯穿全年。由于受到疫情管控和物理空间的限制，赛事直播至关重要，观众体验需求也在不断升级。于此，企业对直播服务要求越来越高，视频直播技术创新显得格外关键。随之而来，如何利用直播技术降低线下部署导播台的成本、如何提供灵活及场景化的能力、如何确保线上内容传输安全稳定，成为许多直播类企业客户的关注点。为了带来更好的直播体验，阿里云对视频直播产品进行重磅升级，打造一站式沉浸体验的云上虚拟直播间服务。基于边缘推流、窄带高清转码...

前言RTC（实时音视频通信）技术的快速发展，助力了直播、短视频等互动娱乐形式的普及；在全球疫情持续蔓延的态势下，云会议需求呈现爆发式增长，进一步推动了 RTC 行业的快速发展。为了给客户提供稳定可靠的服务，网络系统方面需要不断提升频道连通率，降低会议过程中的断流率，增强抗弱网能力；视频方面需要提升视频清晰度，降低视频卡顿率等，音频方面在追求端到端 MOS 的同时，也要重点关注音频 3A 算法的效果，这些都是各厂家必须修炼的 “内功”，也是最终沉淀下来的核心竞争力。本文将重点阐述硬件设备采集的音频质量对 R

在 2021 云栖大会《产业视频化创新与最佳实践》视频云主题论坛中，阿里云智能高级技术专家在《AliRTC 开启视频互动 "零处理" 时代》的主题演讲中，发布了阿里云视频云下一代实时交互解决方案 —RTC “零处理”，同时分享了阿里云视频云在 RTC 产品的探索和实践，以下为演讲内容整理。一、交互演进与挑战在过去几年，视频交互产品发生了什么变化？我们认为 RTC 产品对行业产生了两次非常重要的变革。第一次变革是 2014 年开始的交互从图文到音视频的升级。2014 年，互联

在一切皆可视频化的今天，短视频内容作为移动端产品新的促活点，受到了越来越多的重视与投入，同时短视频也是增加用户粘性、增加用户停留时长的一把利器。那么如何快速实现移动端短视频功能呢？前两篇我们介绍了盒马短视频秒播优化（iOS 篇 / Android 篇），本篇我们聊聊秒播之外，另一个从体感上增加短视频用户体验的能力 - 续播。作者｜少阳审校｜泰一短视频作为内容重要的承载方式，是吸引用户的重点，短视频的内容与体验直接关系到用户是否愿意长时停留。因此，体验的优化就显得尤为重要。跨页面续播跨页面续播.

在一切皆可视频化的今天，短视频内容作为移动端产品新的促活点，受到了越来越多的重视与投入。盒马在秒播、卡顿率、播放成功率等基础优化之外，在用户使用体验上引入了无痕续播能力，提升用户观看视频内容的延续性。本篇将分享盒马在 iOS 短视频方面的实践干货。作者｜神捕审校｜泰一跨页面续播是除秒播外另一个可以从体感上增加用户体验的能力。由于一些业务场景需要在不同页面上播放同一个视频内容的场景，而这些场景页面切换往往是连续的，这就要求短视频的播放也是连续。这样才能使得体验上会有连贯性，让用户在进入沉浸式页面时，能

短视频作为内容重要的承载方式，是吸引用户的重点，短视频的内容与体验直接关系到用户是否愿意长时停留。因此，体验的优化就显得尤为重要。上一篇我们分享了 iOS 短视频秒播优化，这篇我们来聊聊 Android 端的优化。作者｜少阳审校｜泰一优化前的盒马沉浸式短视频播放页面，体感和流畅度上与主流短视频 App 有明显差距。主要问题有播放封面闪屏、出流速度慢两个问题。所以优化的目标是解决盒马沉浸式短视频现有短板，与主流 App 的沉浸式短视频体验对齐，如抖音、手淘等。具体指标有：满足硬性指标：播放成功率.

日常音视频开会中我们或多或少会遭遇这些场景：“喂喂喂，可以听到我说话吗？我听你的声音断断续续的”，“咦，我怎么可以听到回声？”，“太吵啦，我听不清楚你在说啥” 等等。这些语音质量问题影响音视频开会体验，如若是重要的会议，那足够让人 “恼羞成怒”。那么如何有效的减少这些问题发生呢？本系列文章就将为大家分享阿里云视频云在保障 RTC 语音质量方面的测试经验。作者｜柯淮审校｜泰一背景介绍音频质量是指正常网络下的听觉质量和音频 3A 算法质量。听觉质量，是在无损网络情况下人耳对语音优劣的主观感受。但在实.

视频云场景丨白皮书“视频不应该被看作单独的一个行业，就像云计算同样不该被看作一个单独的行业，它们都将渗透到各个行业、各个场景。” 这正是艾瑞研究院副总经理徐樊磊在 7.10 的 Imagine 阿里云视频云全景创新峰会上，讲到的云上视频价值。作为大视频产业的底座，视频云在不断渗透，并和众多行业产生深度关联，阿里云视频云一直着力于以技术创造新商业价值，就此，融合艾瑞咨询的前瞻洞察与阿里云视频云的实践探索，联合研究发布视频云赛道首个场景洞察报告 ——《2021 年中国视频云场景应用洞察白皮书》。该份白皮书

云钉一体的阿里云音视频解决方案，将音视频与协同各业务紧密结合，实现员工、业务及设备的全链接，为客户提供线上线下，软件端到会议室的端到端音视频协同办公体验。阿里云视频云负责人林昊与罗技战略产品事业部总经理陈进宇，在阿里云峰会的【超级探访】中共同探讨阿里云音视频会议与罗技硬件设备如何结合打造灵活高效的音视频会议，讲述音视频是如何带来灵活高效的协同体验。未来移动协同会应用在哪些场景，视频化是不是协同的必然？2021 年，阿里云 “云钉一体” 能力已经进一步升级，无论是在技术层面还是场景落地层面。众所周知，移

2021 年 2 月，“新内容 新交互” 全球视频云创新挑战赛启幕。本次大赛由英特尔联合阿里云主办，与优酷战略技术合作，天池平台和阿里云视频云团队共同承办。大赛自开赛以来，吸引了全球超过 4600 名选手报名参赛，我们遴选了参赛选手中优秀案例和动人故事，一起走进视频云创业创新者的世界。古老又新潮的 “Reaction Video”“Reaction Video”，中文翻译为 “反应视频”，就是记录下人们对事情做出反应的视频。在表现形式上，画面由两个部分组成，包括观看的视频资源，以及观看者本人的反应..

前面我们介绍了 WebRTC 音频 3A 中的声学回声消除（AEC：Acoustic Echo Cancellation）的基本原理与优化方向，这一章我们接着聊另外一个 "A" -- 自动增益控制（AGC：Auto Gain Control）。本文将结合实例全面解析 WebRTC AGC 的基本框架，一起探索其基本原理、模式的差异、存在的问题以及优化方向。作者｜珞神审校｜泰一前言自动增益控制（AGC：Auto Gain Control）是我认为链路最长，最影响音质和主观听感的音.

LTR 弱网对抗由于需要解码器的反馈，因此用硬件解码器实现时需要做一些特殊处理。另外，一些硬件解码器对 LTR 的实现不是特别完善，会导致出现解码错误。本文为 QoS 弱网优化系列的第三篇，将为您详解阿里云 RTC QoS 策略中的 LTR 抗弱网原理与实现硬解 LTR 时遇到的坑及其相应解法。作者｜安基程、陶森柏、田伟峰审校｜泰一Long Term Reference (LTR) 抗弱网原理参考帧丢失的 I 帧恢复在 RTC 场景下一般的编码参考策略是向前一帧参考（在不考虑 temporal.

在 2021 LiveVideoStackCon 音视频技术大会上海站，聚焦 “轻端重云和边缘架构新模式” 专场，阿里云视频云的 RTC 传输专家杨成立（忘篱）带来 “基于边缘云原生的 RTC 服务架构演进” 的主题演讲，与行业伙伴分享视频云在 RTC 服务架构演进之路上的挑战和经验，以下为完整的演讲内容。后端传输网络是 RTC 系统的核心能力，比如阿里云的 GRTN、声网的 SD-RTN 等。本文介绍了阿里云视频云如何不断改进 RTC 架构，扩展 GRTN 网络，并基于云原生技术获得云的强大能力。.

在搭建在线教育、医疗、视频会议等场景时，很多中小型公司常常面临 PC 客户端和 Web 端二选一的抉择。Electron 技术的出现解决了这一难题，只需前端开发就能完成一个跨平台的 PC 端应用。本文主要介绍使用 Electron + WebRTC 搭建跨平台的视频会议应用的技术方案。作者｜ 峻崎审校｜ 泰一什么是 Electron？Electron 是使用 JavaScript、Html 和 CSS 构建跨平台的桌面应用程序。（官网链接）为什么要使用 Electron？目前很多中小型公司并.

上一篇《详解 WebRTC 传输安全机制：一文读懂 DTLS 协议》详细阐述了 DTLS。本文将结合 DTLS 开发中遇到的问题，详细解读 DTLS 的一些基础概念以及 Fragment 的机制，并进一步深究 DTLS 协议。作者｜泰一审校｜进学、莫战前言最近在做 J 和 G 这两套 RTC 系统的 DTLS-SRTP 握手加密工作，要求使用 CA 机构颁发的证书。在本机调试的过程中发现：G 系统使用 CA 证书，DTLS 握手成功，而 J 系统则握手失败。经过几番调试与分析，定位到了原因：J.

本文为 QoS 弱网优化系列的第二篇作者｜安基程、田伟峰审校｜ 泰一视频编码中的变分辨率问题及解决变分辨率在弱网场景的实际应用中非常常见，网络状况不好的时候降低分辨率可以降低码率，减少块效应，网络好的时候增加分辨率可以提升清晰度及主观体验。目前主流的视频编码标准，比如 H.264、H.265，在编码过程中如果要进行分辨率切换，则必须要先编码一个 I 帧，而 I 帧只能使用帧内预测，编码效率低下。这在弱网变分辨率的时候就容易造成卡顿。下图中展示了每秒钟切换分辨率的码率波动效果，高低两个分辨率，每秒钟

作者｜进学审校｜泰一DTLS (Datagram Transport Layer Security) 基于 UDP 场景下数据包可能丢失或重新排序的现实情况下，为 UDP 定制和改进的 TLS 协议。在 WebRTC 中使用 DTLS 的地方包括两部分：协商和管理 SRTP 密钥和为 DataChannel 提供加密通道。本文结合实际数据包分析 WebRTC 使用 DTLS 进行 SRTP 密钥协商的流程。并对在实际项目中使用 DTLS 遇到的问题进行总结。DTLS 协议简介在分析 DTLS 在

2021年5月，由阿里云联合英特尔共同主办，与优酷战略合作、天池平台承办的“新内容 新交互”全球视频云创新挑战赛初赛圆满落幕。经过近三个月的激烈角逐，52支入围队伍，从全球23个国家的4600余支参赛队伍中脱颖而出，进入到复赛阶段的比拼中。本次大赛，是全球首个聚焦于视频云技术在全行业的应用与创新领域的比赛，分为算法赛道和创新应用赛道两大板块。算法赛道以目前业界极为关注的视频分割为赛题，以期打造中国的“CVPR竞赛”；而应用创新赛道，则鼓励参赛选手从行业痛点出发，挖掘视频云技术在各个行业场景中的应用，创造出

NetEQ 是 WebRTC 音视频核心技术之一，对于提高 VoIP 质量有明显的效果，本文将从更为宏观的视角，用通俗白话介绍 WebRTC 中音频 NetEQ 的相关概念背景和框架原理，以及相关的优化实践。作者｜ 良逸审校｜ 泰一为什么要 “白话” NetEQ?随便搜索一下，我们就能在网上找到很多关于 WebRTC 中音频 NetEQ 的文章，比如下面的几篇文章都是非常不错的学习资料和参考。特别是西安电子科技大学 2013 年吴江锐的硕士论文《WebRTC 语音引擎中 NetEQ 技术的研究》，非.

屏幕共享是视频会议中使用频率最高的功能之一，但在实际场景中用户所处网络环境复杂，常遇到丢包或者拥塞的情况，所以如何优化弱网环境下的用户体验也成为了音视频通信中重要的一环。本文主要分享阿里云 RTC QoS 如何通过若干编码器相关优化提升弱网环境下的屏幕共享体验。作者：长程/田伟峰审校：泰一内容说明：本文介绍以下四个方面的优化：Screen Content Coding ToolsLong Term Reference (LTR)Fast QP Rate ControlContent Ada

大家都知道奥斯卡有提名，其实在 WebRTC 的 ICE 中也有提名，有常规的提名，也有激进的提名，而且提名的候选人不一定是最优秀的候选人喔，本文就带你一探其中玄妙。文章内容主要描述 RFC 5245 中 ICE 相关的状态和 ICE 提名机制，并结合 libnice(0.14) 版本进行分析。作者：阵图，阿里云开发工程师审校：泰一，阿里云高级开发工程师Scene分析一个问题时候遇到这样的场景：服务端一个 Candidate，客户端三个不同优先级的 Candidate，但是最后居然选择了一个优先级最

本系列文章将整理各个流媒体传输协议，包括 RTP/RTCP，RTMP，希望通过深入梳理协议的设计细节，能够给流媒体领域的开发者带来一定的启发。作者：逸殊审核：泰一接上篇：《 流媒体传输协议之 RTP（上篇）》RTP 控制协议Sender & Receiver 报告RTP 使用 Sender 报告（SR）和 Receiver 报告（RR）来反馈数据的接收质量，如果是媒体数据的发送者那就会发送 SR，否则发送 RR。这两类报文是通过头部的报文类型识别码来做区分的。SR 相对于 RR 来说多了

作者：逸殊审核：泰一简介RTMP 在可靠流式传输（TCP）的基础上提供了双向的消息多路复用服务，在通讯双方之间传输与时间相关的并行流数据，如音频，视频和数据消息。协议实现方通常为不同的消息类型指定不同的优先级，这样在网络带宽受限时能改变底层传输顺序。定义负载：包中所承载的数据。例如音频或视频数据。包：一个数据包由固定头部和所承载的数据组成。一些底层协议可能需要定义数据包的封装格式。端口：在一个计算机中用于区分不同目标的抽象定义。在 TCP/IP 协议中用一个小的正整数来表示端口。OSI

所有的基于网络传输的音视频采集播放系统都会存在音视频同步的问题，作为现代互联网实时音视频通信系统的代表，WebRTC 也不例外。本文将对音视频同步的原理以及 WebRTC 的实现做深入分析。时间戳 (timestamp)同步问题就是快慢的问题，就会牵扯到时间跟音视频流媒体的对应关系，就有了时间戳的概念。时间戳用来定义媒体负载数据的采样时刻，从单调线性递增的时钟中获取，时钟的精度由 RTP 负载数据的采样频率决定。音频和视频的采样频率是不一样的，一般音频的采样频率有 16KHz、44.1KHz、48.

WebRTC 无疑推动和改变了互联网视频，而这仅仅是刚刚开始，除了大家熟悉的 WebRTC-PC、Simulcast 和 SVC，有太多的新技术和新架构出现在 WebRTC 新的标准中，比如 WebTransport、WebCodecs、AV1、E2EE、SFrame、ML 等等，这篇文章详细介绍了未来的 WebRTC-NV，不容错过。说明：本文为阿里云视频云翻译的技术文章原文标题：WebRTC Today & Tomorrow: Interview with W3C WebRTC Chair

前言：做音视频的小伙伴们多少都遇到过奇怪的BUG（如：卡顿、花屏、绿屏、变声等），表象上矛盾点颇多，推理得出的结论都是：“不应该啊！”，最终你抽丝剥茧，发现真相只有一个：“事出反常必有妖”！作者：安果，阿里云高级技术专家，从事阿里云 RTC 服务器研发奇怪现象背景：RTC 互动中增加对 RTMP 的支持，实现 RTC 与 RTMP 相互订阅。遇到一个奇怪的 BUG，遮挡住 RTC 端的摄像头，有的 RTMP 播放端（iPad air 2，iPad mini 2/4）会偶发绿屏。要不先发版？初步

撰文｜ 丹如编辑｜ 猛哥制作｜ 杭派工程师每当微信群内聊到春晚，只要有一个人发出 “宫廷玉液酒，一百八一杯”，接下来你就会发现即便是平时最爱潜水的人也忍不住在后面接上 “这酒怎么样？”“这酒真是美！” 一直到整个群都热闹起来，开始一场春晚经典小品串演。春晚对于中国人的意义早已不是一档歌舞小品串烧的晚会，它是除夕除了包饺子外最重要的事，即便放着是不看，它也除夕打麻将专属 BGM。有人说在互联网的冲击下，春晚的影响力越来越小。可实际上春晚的观众每年都在递增，2020 年海内外观众总规模达 12.32

前言：近年来，音视频会议产品提升着工作协同的效率，在线教育产品突破着传统教育形式的种种限制，娱乐互动直播产品丰富着生活社交的多样性，背后都离不开音视频通信技术的优化与创新，其中音频信息内容传递的流畅性、完整性、可懂度直接决定着用户之间的沟通质量。自 2011 年 WebRTC 开源以来，无论是其技术架构，还是其中丰富的算法模块都是值得我们细细品味，音频方面熟知的 3A 算法（AGC: Automatic gain control; ANS: Adaptive noise suppression; AEC:

在 WebRTC 中，Audio 数据在被送入编码器之前，有 2 大部分需要特别关注，一是数据采集，二是 Audio Processing。作者：方来，技术专家，从事 voip 应用开发。数据采集数据采集主要由 Audio Device 模块进行处理，而且是平台和配置相关。例如：Mac 电脑，使用的是 CoreAudio API，一般情况下使用默认内置的声卡参数 fs=48kHz，stero。Windows 电脑，WebRTC 中用的是 WASAPI。根据声卡参数不同，采样率等参数可选的比较多

WebRTC 是 Web Real-Time Communication，即网页实时通信的缩写，是 RTC 协议的一种 Web 实现，项目由 Google 开源，并和 IETF 和 W3C 制定了行业标准。在国内 WebRTC 已经获得了越来越多厂商的支持，应用前景变得更加广阔，所以我们也开设专栏，分享阿里云内部的 WebRTC 研究工作。本篇是阿里云视频云 WebRTC 技术专栏系列文章的第一篇，作者将从 WebRTC SDP 例子和关键属性的角度为大家深度剖析解读，其中也分享了阿里云技术专家的一些实践

单从倍频程和钢琴调式这两个名词看，距离确实有点远，一个偏科技一个偏娱乐。但是距离远不代表没有关系，下面就让我们给它们俩拉拉关系吧。作者：良逸，阿里云技术专家，阿里云音视频通信 QoS 研发什么是倍频程首先什么是倍频程？从中文字义上看，就是“X 倍频率的范围”，是截至频率和起始频率之比成倍数关系的频段。与之相对应的另一个概念是等宽频程，意思是截止频率和起始频率之差相等的频段。具体定义如下：为什么要用倍频程?我们知道人耳的听觉的频率感知范围在 20Hz-20000Hz，范围非常的广，分析的时候，需要

在与同行交流过程中，发现很多同行对 WebRTC 改动太多，导致无法升级 WebRTC 版本。而 WebRTC 开源社区的快速迭代，让他们感到欣喜又焦虑：开源社区的迭代效果，是不是超过了他们对 WebRTC 的优化效果？我们针对特定场景优化 WebRTC 时，怎么紧跟 WebRTC 开源社区通用的优化？作者：阿里云智能技术专家 熊金水理念简言之，把 WebRTC 作为 Framework 使用，而不是 Library，即：WebRTC 仓库轻量化，核心模块插件化。详细的，WebRTC 作为 Fram

本系列文章将整理各个流媒体传输协议，包括 RTP/RTCP，RTMP，希望通过深入梳理协议的设计细节，能够给流媒体领域的开发者带来一定的启发。作者：逸殊审核：泰一介绍RTP，即 real-time transport protocol（实时传输协议），为实时传输交互的音频和视频提供了端到端传输服务。其中包括载荷的类型确认，序列编码，时间戳和传输监控功能。一般应用都是基于 UDP 协议，来使用 RTP 的多路技术以及验和服务。然而，RTP 还可以与其它适合的协议并用，如果底层网络支持多路分发，RTP

直播，已经成为了“剁手党”们最喜闻乐见的一种购物形式。对直播体验的极致追求，也是淘宝技术人们长期的努力方向。为了提升用户购物体验，让直播更加丝滑，让剁手更快一些，在2020双十一期间，淘宝首次启用了阿里云CDN的GRTN全球实时传输网络。数据显示，和传统的HTTPFLV/RTMP方式相比，在启用了GRTN后，直播端到端的延时降低了83%。那么，GRTN到底是什么？其背后究竟隐藏了哪些核心技术？这篇文章会通过回顾互联网直播技术的发展历程，深度剖析直播延时的技术挑战，并解读阿里云全球实时传输网络GRTN的.