网易云信流媒体首席架构师：新一代音视频技术架构如何构建？

原创 于 2020-12-14 08:27:00 发布 · 2.9k 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法 #网络 #人工智能 #大数据 #xhtml

网易云信推出全新一代音视频技术架构，涵盖服务端系统、SDK及引擎升级。技术包括自研视频编码器NEVC、AI超分辨率、高性能实时传输网等，支持大规模级联与低延迟交互。

前沿：5G 与 AI 时代已来，音视频技术持续迭代升级，网易云信推出了全新一代音视频技术架构。新一代音视频架构有哪些核心技术？各技术在线上场景又有哪些落地实践方案？

文｜吴桐

网易云信流媒体首席架构师

网易创新企业大会发布了新一代音视频技术架构，进行了全流程的技术升级，包括新一代音视频融合通信服务端系统、新一代音视频 SDK 以及新一代音视频引擎。本文整理自网易云信流媒体首席架构师、多媒体开发专家吴桐的大会现场实录。

本次分享将从以下几个方面展开:

  • 音视频发展趋势；

  • 新一代音视频架构升级；

  • 新一代音视频核心技术；

  • 新一代音视频场景落地；

  • 总结与展望；

2020 音视频发展趋势

2020 年注定是不平凡的一年，从年初疫情就已经感受到这个变化，今天能够到场和大家面对面交流也是很不容易的。看到海外人民现在还在水深火热中，我们要感谢祖国的强大。今年新冠疫情的突发，也让音视频业务得到一个井喷式的发展，特别是在家办公期间，视频会议成为每个人的刚需，也培养了用户使用视频会议的习惯。

当然除了疫情以外，5G 的到来以及其大带宽、低延时、海量连接等特点也进一步丰富了音视频的应用场景，不仅在传统的视频会议、娱乐社交、在线教育、金融和 IoT 等场景下继续蓬勃发展，还带动了云面试、云相亲、云游戏等新兴领域。当然，各场景对音视频体验也提出更多差异化的要求：更低的延迟、更高的并发等。视频会议、在线教育和云游戏这几个场景，在未来几年的增幅都非常大，特别是云游戏，在 2023 年会达到千亿的规模，所以我相信未来的音视频行业还将持续高速增长，未来有无限的机会等待音视频行业的从业人员。

随着音视频市场的增长，网易云信也在不断提升自己在音视频领域的核心竞争力。在 5G 和 AI 技术变革的推动下，网易云信在原有音视频架构的基础上迭代升级，推出了新一代音视频技术架构，对音视频全流程都做了重大升级，主要包括三大架构升级，分别是：新一代音视频融合通信服务端系统、新一代音视频 SDK 以及新一代音视频引擎。

网易云信新一代音视频架构升级

 新一代音视频融合通信系统架构 

首先看一下网易云信在新一代音视频融合通信服务端系统的整体架构图。

1 流媒体传输与处理服务

在这个框架图中间是流媒体传输和处理服务，涵盖了边缘媒体接入、实时传输网、流媒体处理服务以及直播点播服务。

在新一代架构中，流媒体系统可以兼容各类协议，边缘媒体服务器既支持云信 SDK 的接入，也支持标准 Web 端使用 WebRTC 接入；同时，云信自研了 SIP 网关服务器，实现了 SIP、PSTN 的接入；使用通用媒体网关实现了标准 RTMP 推流工具、小程序、RTSP 监控摄像头的接入。

在边缘媒体服务系统收到各协议客户端的媒体数据包以后，它会借助云信自研的实时传输网的边缘节点和路由节点进行全球的实时媒体数据分发，保证端到端的最优体验。同时利用流媒体处理服务的通用 MCU 和转码服务器，可以将媒体流混合后旁路转推到云信互动直播服务器，再通过云信直播的融合 CDN 系统进行分发；还可以在云端进行录制后，存储到云信的点播服务系统中。

2 全局流媒体控制服务器

架构图的左侧是全局流媒体控制服务，它包括了：频道与流管理服务、统一媒体调度服务和实时传输网调度服务，它是整个音视频融合通信系统的大脑，由它来动态控制整个系统的运转。

3 大数据与配置服务

架构图的右侧是云信的大数据与配置服务系统，其中全局大数据分析和挖掘系统，负责全链路采集的数据处理、告警和质量透明，并利用大数据挖掘的结果指导全链路各模块算法和策略的制定。另一个是我们智能全局配置管理和下发服务，负责对各类云端参数的下发，包括 QoS 参数、音视频编解码参数以及 A/B Test 的相关开关。

这里，我们对网易云信的新一代音视频融合系统架构做个总结：

  • 首先，新一代音视频融合通信系统是一个混合了实时媒体边缘服务器、实时传输网以及融合 CDN 的一个混合组网系统，它可以满足用户对场景和网络实时性的各类需求；

  • 第二，我们将媒体边缘服务器和媒体网关下沉到边缘，大大降低了用户到第一跳接入服务的距离，也可以更好发挥 5G 边缘计算的能力；

  • 第三，音视频系统的控制面和媒体转发面做了重新的抽象和隔离，音视频房间和流的管理由控制服务器负责，媒体和实时传输网系统只负责流媒体数据的分发，具体这么做的目的和优势，我们在下文的核心技术部分再做展开。

 新一代音视频 SDK 技术 

关于新一代音视频 SDK 技术，我们做了很清晰的分层设计，将各个模块做了尽可能的解耦，同时也让更多的基础模块可以下沉，让更多上层模块共用代码；在跨平台封装层抽象各平台的差异，为 SDK 接口层提供统一调用逻辑。

在 SDK 接口封装层，我们坚持每个接口都要简单易用，同时接口之间要尽可能没有过强的先后顺序依赖，降低用户调用顺序不一致导致的异常问题。接口设计的另一要点是：保证全端不管是 Android、iOS、PC 还是 Web，接口统一，多端可以无缝切换开发。网易云信为了让用户更好的使用 SDK，除了文档以外还推出了易用体系，为开发者提供了 Sample Code

最低0.47元/天 解锁文章
网易数智
关注
博客
前沿观察 | 打破“数字温室”，情感陪伴智能体的伦理命题
12-04 300
当人们习惯了AI的秒回和百依百顺，会对现实中哪怕一点点的社交延迟和情绪摩擦感到愤怒或无助，甚至出现像希腊神话中的纳西索斯那样，因沉迷于虚幻的倒影而与现实割裂。它的最终目的，是帮助用户平复心境、整理思路，在获得能量后，关掉屏幕，去处理真实的生活。根据行业经验，我们发现AI虽然能解决大部分问题，但也需要为其设定边界，将伦理合规作为设计与服务基石的一部分，成为用户可信赖的守护者。而在某些行业，伦理安全不仅是道德层面的问题，更涉及安全风控，如正在引入AI心理陪伴的教育机构，或希望通过AI缓解孤独的养老社区，
博客
媒体观点丨时代越智能，融合通信价值越凸显
12-02 68
深入来看，这里的服务逻辑已经发生转变，无论是商户与采购商的远程沟通（需要实时音视频的高效连接），还是智能导购设备、跨境电商直播工具的智能化改造（需要AI交互能力加持），抑或是义乌商品的智能化升级（借助AI来实现更有温度的交互等）都需要网易云信与义乌进行深度的合作、探索，来反复聚焦具体的场景进行适配。这种高效连接的价值直击企业与时代的痛点。随着 AI、物联网技术的成熟，连接的边界持续拓宽，其中就包括人与AI的情感陪伴、设备与设备的实时协同、场景与场景的智能联动等，这些正在成为新的需求增长点。
博客
新国标之下，智能陪伴时代正当时
11-28 562
从如乐鑫 ESP32、思澈黄山派等行业主流芯片模组，到震动马达、摄像头、麦克风、电池等配件，网易云信联合硬件合作伙伴，为厂商提供从适配到落地的一体化解决方案。不仅集成大模型功能，持续打磨情绪识别与多模态交互能力，更创新地引入了短期、中期与长期的三层记忆架构，使得玩具能够记住用户的喜好与习惯，这与网易云信的实践观察不谋而合，我们深刻理解，真正的智能陪伴不在于短暂的交互新奇感，而在于长期、稳定且有记忆的情感连接。因此，谁能把握此刻的趋势，谁就是在与未来五年智能消费品最确定的增长曲线同频共振。
博客
网易云信“听房师”：让语聊房运营从“黑盒”走向“明盒”
11-27 16
将顶级运营经验量化拆解为可复制的方法论，为全平台主播培训提供标准化“弹药”，让优秀不再依赖个别“明星主播”，实现整体用户体验与付费转化的规模化提升。网易云信希望通过这一产品，将AI能力转化为每个娱乐社交平台都能轻松复用的增长利器，让它成为一位不知疲倦、专业资深的“AI 运营专家”，7x24 小时“值守”平台的每一个语聊房，助力行业。主播的服务表现，能否真正支撑起用户的付费意愿？“付费用户”的对话内容、“付费用户”上下麦的时间节点、“付费用户”送礼的触发场景、“付费用户”离房的潜在原因。
博客
智能玩具新纪元：一个AI能力底座开启创新“加速度”
11-24 759
我们定义了情感陪伴智能体的演进阶段：E0阶段为被动机械响应的脚本式交互，E1阶段接入文本大模型后，智能体已经具备上下文理解与短期记忆，到E2阶段的多模态情绪识别，再到E3阶段的主动关怀和长期情感记忆，智能体逐渐建立依恋关系，进一步实现稳定的人格与情绪演化，最终达成共生目标。阙杭宁基于在即时通讯领域的十年技术积累与五年的C端少儿产品深度实践，系统阐释了在AI能力底座下，如何实现通讯技术与智能交互的融合创新，构建情感陪伴垂直场景解决方案，以帮助合作伙伴大幅降低AI应用的创新门槛与POC周期。
博客
网易云信 IM UIKit 全面升级 重构智能产品开发体验​
11-21 32
基于鸿蒙系统的分布式能力，云信 IM UIKit 可以实现高性能渲染与系统级深度融合，让 IM 功能在鸿蒙设备上具备更低的资源占用与更稳定的运行表现。未来，网易云信将持续聚焦即时通讯领域的技术创新，推出更多贴合社交、办公、客服、教育等垂直场景的功能模块，与开发者共同构建。从 AI 能力与 IM 场景的深度融合，到 UI 自定义自由度的大幅提升，再到核心功能的场景化优化，都是以助力企业。从传统开发的“数周级”接入周期，压缩至“数小时级”，正是网易云信在 AI 时代给到开发者的答案。
博客
发改委等八部门再发《指引》，远程异地评标成为硬要求，网易云信为招标人提供“标准答案”
11-18 886
近日，为深入治理招标投标领域突出问题，国家发展改革委联合工业和信息化部、住房城乡建设部、交通运输部、水利部、农业农村部、商务部、国务院国资委等8部门，印发《招标人主体责任履行指引》（以下简称《指引》），为招标人履行主体责任提供具体明确的行为规范，引导和督促招标人履职尽责。《指引》围绕标前工作、招标和投标、组织开标和评标、定标、履约管理、监督管理等6个重点环节，逐项明确招标人履行主体责任的方式和要求，强调招标人对招标投标活动的科学性、合法性、廉洁性负责。
博客
破局数字化转型，网易云信与四川央国企共探产业升级新生态
11-13 750
其在产业数字化板块的数字供应链、数据智能应用、数字化工厂、数字化财务等领域拥有深厚的数字化服务落地能力，目前已服务于中国铜业、中国海油、五粮液等众多行业头部客户。后续，集团目标是将平台发展为集采购、贸易、仓储、物流、金融、数据服务于一体的供应链管理者和产业组织者，推动全产业链数字化升级的战略布局，最终构建“优质朋友圈”式产业生态圈。众人纷纷表示，希望能以此次交流为起点，建立更常态化、机制化的互动模式，未来有更多机会齐聚一堂，碰撞思想、促进合作，携手为四川乃至全国的产业数字化升级注入新动能。
博客
AI+文旅+游戏：跨越四百年的“寻梦”之旅
11-11 29
上，深度融合了其在《忘川风华录》中的经典IP形象，精心设定了温文尔雅、博学多才的谈吐风格，让每一次对话都不仅是一次信息获取，更是一场与历史文人跨越时空的风雅对谈，极大地提升了用户的沉浸感。上，“汤公”接入了详尽的遂昌本地历史文献、文旅资料与景点介绍，构建起一个庞大的知识库，确保他能如数家珍般介绍当地风土人情、自身生平轶事乃至《牡丹亭》的创作渊源，做到真正的“对答如流”，将线上流量引导至线下景点。中的汤显祖跨越古今的清梦，一袭紫衣斜倚梅窗，手中的狼毫重新着墨，这一次，写的不仅是戏文，更是与你共享的酣畅对话。
博客
媒体观点丨千家万业拥抱AI，谁为“最后一米”连接兜底？
11-07 33
更致命的是，消费硬件接入的智能体的能力同质化，大多停留在能对话的低阶智能，缺乏人格一致性、长期记忆等高阶智能，可能今天叫用户“宝贝”，明天就忘了用户是谁，这种割裂的体验导致了极高的退货率。传得稳、传得快的通信能力，是AI落地的基本前提，在此之上，AI还须具备能干活的专业能力、能记住我们是谁的情感能力。，网易云信不做基模，避开通用大模型的红海，通过结合场景与历史语料开展后训练，AI能实现更精准的业务适配，比如在会议场景中，AI能依据组织架构识别“谁是领导、谁是项目经理”，让输出更贴合实际需求。
博客
前沿观察 | 网易云信首发，情感陪伴智能体演化五阶段
11-07 576
然而，当前阶段的AI系统在情感认知维度仍存在显著断层，语音交互缺乏对话脉络的连续性，生成式模型尚未建立真正的情感理解，这种情感鸿沟构成了人机协同进化的关键屏障。更重要的是，它能在与用户的长期互动中“共同成长”——理解你的节奏，适应你的风格，并形成双向情感反馈。E0阶段的智能体，依靠脚本规则或固定关键词进行触发和回应，只能被称为语音机器人，做一些机械的来回问答，例如，“你好，我能讲故事”。从“数据到温度”，从“算法到故事”，情感陪伴智能体正在让AI变得更像“人”，也让人类在科技的映照中看见更深层的自我。
博客
远程异地评标政策频发，网易云信如何破解“最后一公里”通讯难题？
11-06 941
据媒体报道，近日，广西-河南、天津-乌鲁木齐、云南-广西等地陆续开展跨省远程异地评标项目，部分地区是《国家发展改革委办公厅关于加快推广远程异地评标的通知》下的首个跨省远程异地评标，打破了传统评标的地域和空间限制，两地区评标资源得到有效整合。”等工作的开展，凸显吉林省“扎紧权力运行的制度笼子”，“不断推动招投标市场从关系竞争转向实力竞争”，“为构建全国统一大市场提供坚实的纪律支撑”的决心。跨省远程异地评标打破了传统模式的空间限制，推动各地专家资源优势互补，使项目能够匹配到更专业的评审力量。
博客
媒体观点丨网易云信，做“单纯”的企业没啥不好
10-31 49
这也意味着，“产品经理+AI”就可突破原有产品经理的能力边界，“产品经理+AI+研发经理”，更能以全新的协作方式，完成“理工直男”与“文艺青年”的融合。未来，AI在重构情感陪伴，也在重构企业中的每一场会议、每一次招投标、每一次技术服务、每一次社交沟通，而只有给网易云信一点点时间，这家公司就会向市场证明，不合流于低端的内卷，不掺杂其他目的单纯地做好产品，这才是正确的方向；或者说，除了传递人与人之间的信息，网易云信更在传递人与AI的信息，其服务将从“基础通信管道”逐步演化为“AI 交互落地的关键引擎”。
博客
媒体观点丨网易云信拥抱下一个十年，能否成为AI领航者？
10-31 34
加上网易系不贪快、不冒进的文化风格，一年一基础，三年一台阶，蜕变就在一点一滴的改变中，理论研究、产品架构、人员变革、客户经营、上下游协同等等，千头万绪从头越，慢下来，会更快。在框架层面，不搞颠覆性改造，聚焦开箱即用的轻量化方案，降低企业接入门槛；网易云信的选择是，不做大而全的AI平台，而是基于十年积累的通信网络向上延伸，距离用户更近，聚焦用户痛点场景，让现有优势具像化。对网易云信而言，这不是“一拍脑袋”而定的事情，也不是“蹭”AI风口，而是在传统融合通信“泥潭”的自我救赎，是仰望未来10年的“再出发。
博客
构筑深度情感联结：故事引擎背后的四种叙事模式
10-30 452
与此同时，导演逻辑始终在后台保持活跃，在关系发展的平稳期、瓶颈期或跃升期适时介入，利用LLM的生成能力创造全新的、个性化的剧情篇章。该模式确保了智能体在长期互动中，性格、行为逻辑与关系认知的高度一致性，为用户提供了稳定且可信的沉浸感基础，让自由探索成为可能。这些由算法驱动、结合用户记忆触发的碎片化情节，以其出现的不确定性与内容的个性化，有效维持了长期关系中的新鲜感与亲密感，形成了一种可持续的吸引力循环。通过四种叙事模式的灵活配置与智能切换，线性的剧本、动态的生成与持续的记忆被编织成一个生生不息的叙事网络，
博客
网易云信携手义乌共建AI玩具生态，义博会签约开启小商品智能化新篇章
10-28 44
网易云信的情感陪伴智能体和 AI 玩具解决方案依托自研的三层记忆架构，成功破解了当前 AI 普遍存在的 “失忆症” 难题，使玩具能够实现从 “单次响应” 到 “持续情感交互” 的升级。网易云信的技术积累与我们的产业基础形成完美互补，此次合作不仅能带动玩具产业提质增效，更将为文具、礼品等更多小商品品类的智能化升级提供示范样本。此次合作，网易云信以 AI 技术赋能玩具产业为核心切入点，旨在携手义乌小商品城共同破解传统小商品产业创新瓶颈，为全球最大的小商品集散中心注入。作为此次合作的技术核心支撑，网易云信基于“
博客
网易云信10周年宣布品牌升级，从“基础通信管道”到“AI交互引擎”
10-23 486
今年8月，国务院印发《关于深入实施“人工智能+”行动的意见》，大力推动人工智能与经济社会各行业各领域广泛深度融合，并为人工智能整体发展划定了清晰的时间表和路线图，提出“到2027年，率先实现人工智能与6大重点领域广泛深度融合，新一代智能终端、智能体等应用普及率超70%，智能经济核心产业规模快速增长，人工智能在公共治理中的作用明显增强，人工智能开放合作体系不断完善”等明确目标。而现在，除了传递人与人之间的信息，我们也在传递人与AI的信息，因为当前外界与AI的一切交流仍然高度依赖通信技术来实现传输。
博客
行业首发 | 网易云信招采会议组件重磅发布，率先适配国家技术标准
10-20 940
对于开发能力薄弱、开发资源有限的平台客户，网易云信提供了带 UI 的 Web 组件和清晰的 API 文档，客户无需投入大量产品设计和开发资源，仅仅通过简单“组件式对接”，便可在极短时间内为现有系统赋予功能完备、体验流畅的音视频会议能力，显著降低开发成本。例如，监督角色默认关闭自身音视频，仅可查看全场情况，且不在成员列表中显示，充分满足了招采业务的特殊需求。云信希望通过技术创新，追平甚至超越传统厂商在低成本集成场景上的能力，为更多的招采平台客户插上“音视频的翅膀”，共同推进行业的标准化与智能化进程。
博客
MCtalk·无限对话云信十周年特别版 | 以 AI 重塑融合通信的价值边界
10-17 76
有一个情况我觉得非常有意思，可能一年前，当我们与客户探讨类似话题时，他们的反应是，“我们自己也能做”，但到了今年，客户的反馈发生了明显变化，虽然市场上有不少开源方案可供使用，但往往效果并不理想，多数都像“搭积木”一样，东拼西凑出了一个成果，只能作为一个demo演示，完全达不到商业化产品的成熟度。我们做ToB业务一直讲要坚持长期主义，就像一场马拉松，一时快不是真的快，特别是我们从事的PaaS业务，更是一个细水长流的过程，在这十年的发展过程中，其实很少有突飞猛进的进展，更多是依靠一点一滴的持续积累。
博客
从“能对话”到“懂用户”，科技让硬件变得“活泼生动”！
10-16 113
在同期举办的主题峰会上，网易数智相关负责人围绕 AI 硬件玩法、体验创新进行了详细的分享，在提及 AI 玩具当前发展与制约瓶颈方面，更是提到：“玩具行业想要摆脱低价竞争格局，AI 玩具发展是一个机会，也是一个方向，但同时传统玩具厂商缺乏相关的。不论是 AI 玩具，抑或其他硬件想进行 AI 化改造，不是接入一个模型或者加一个模组，或者基于开源系统进行智能体开发，而是需要基于用户需求，对。同时，支持中、英、日等多语种及主流方言识别，兼容全球主流 LLM 模型，为硬件厂商提供灵活扩展的技术方案。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值