低延时直播与RTC融合架构设计③：RTC融合架构设计

原创 于 2020-03-13 16:58:18 发布 · 925 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了网易云信NRTC融合架构，包括实时音视频、低延时直播、传统直播、旁路直播、点播与转码等功能。探讨了低延时与CDN分发网络结合的方案，以及RTC视频会议场景下的优化策略，涉及智能码率分配、分段QoS、多流simulcast、窄带高清与超分技术。

本篇文章中，吴桐将向大家介绍网易云信NRTC融合架构、RTC视频会议场景优化方案以及他个人一些前瞻性的思考和展望。

网易云信NRTC融合架构

NRTC是NetEase Real-Time Communication的简写，是网易云信自主设计研发的全功能工业级音视频技术框架，它可提供以下功能：

（1）NRTC提供实时音视频与低延时直播功能，这一方案是基于UDP的，低时延流畅，这一能力可以用于音视频交友、在线教学、多人视频会议等多种场景；

（2）NRTC同时也提供传统直播功能，这一方案是基于TCP的，可以提供高品质的直播能力，这一能力可以用于秀场直播、游戏直播、大班教学等场景；

（3）NRTC也可以将（1）和（2）的能力结合，提供旁路直播功能，通过上麦下麦控制用户在连麦和观众模式间切换；

（4）NRTC提供点播与转码功能，通过融合CDN实现海量分发；

（5）NRTC提供短视频功能，提供了短视频SDK；

（6）NRTC同时使用小程序网关和WebRTC网关来接入微信小程序音视频和WebRTC。

综上，NRTC能够提供的能力是非常全的，相关的功能也非常成熟稳定，NRTC支撑了网易内外部各个客户的海量应用，譬如网易云音乐、网易新闻、有道、云课堂等等。

那么我们是如何将低延时与CDN分发网络结合的？

 

最低0.47元/天 解锁文章
博客
新国标之下，智能陪伴时代正当时
11-28 557
从如乐鑫 ESP32、思澈黄山派等行业主流芯片模组，到震动马达、摄像头、麦克风、电池等配件，网易云信联合硬件合作伙伴，为厂商提供从适配到落地的一体化解决方案。不仅集成大模型功能，持续打磨情绪识别与多模态交互能力，更创新地引入了短期、中期与长期的三层记忆架构，使得玩具能够记住用户的喜好与习惯，这与网易云信的实践观察不谋而合，我们深刻理解，真正的智能陪伴不在于短暂的交互新奇感，而在于长期、稳定且有记忆的情感连接。因此，谁能把握此刻的趋势，谁就是在与未来五年智能消费品最确定的增长曲线同频共振。
博客
网易云信“听房师”：让语聊房运营从“黑盒”走向“明盒”
11-27 12
将顶级运营经验量化拆解为可复制的方法论，为全平台主播培训提供标准化“弹药”，让优秀不再依赖个别“明星主播”，实现整体用户体验与付费转化的规模化提升。网易云信希望通过这一产品，将AI能力转化为每个娱乐社交平台都能轻松复用的增长利器，让它成为一位不知疲倦、专业资深的“AI 运营专家”，7x24 小时“值守”平台的每一个语聊房，助力行业。主播的服务表现，能否真正支撑起用户的付费意愿？“付费用户”的对话内容、“付费用户”上下麦的时间节点、“付费用户”送礼的触发场景、“付费用户”离房的潜在原因。
博客
智能玩具新纪元：一个AI能力底座开启创新“加速度”
11-24 746
我们定义了情感陪伴智能体的演进阶段：E0阶段为被动机械响应的脚本式交互，E1阶段接入文本大模型后，智能体已经具备上下文理解与短期记忆，到E2阶段的多模态情绪识别，再到E3阶段的主动关怀和长期情感记忆，智能体逐渐建立依恋关系，进一步实现稳定的人格与情绪演化，最终达成共生目标。阙杭宁基于在即时通讯领域的十年技术积累与五年的C端少儿产品深度实践，系统阐释了在AI能力底座下，如何实现通讯技术与智能交互的融合创新，构建情感陪伴垂直场景解决方案，以帮助合作伙伴大幅降低AI应用的创新门槛与POC周期。
博客
网易云信 IM UIKit 全面升级 重构智能产品开发体验​
11-21 27
基于鸿蒙系统的分布式能力，云信 IM UIKit 可以实现高性能渲染与系统级深度融合，让 IM 功能在鸿蒙设备上具备更低的资源占用与更稳定的运行表现。未来，网易云信将持续聚焦即时通讯领域的技术创新，推出更多贴合社交、办公、客服、教育等垂直场景的功能模块，与开发者共同构建。从 AI 能力与 IM 场景的深度融合，到 UI 自定义自由度的大幅提升，再到核心功能的场景化优化，都是以助力企业。从传统开发的“数周级”接入周期，压缩至“数小时级”，正是网易云信在 AI 时代给到开发者的答案。
博客
发改委等八部门再发《指引》，远程异地评标成为硬要求，网易云信为招标人提供“标准答案”
11-18 883
近日，为深入治理招标投标领域突出问题，国家发展改革委联合工业和信息化部、住房城乡建设部、交通运输部、水利部、农业农村部、商务部、国务院国资委等8部门，印发《招标人主体责任履行指引》（以下简称《指引》），为招标人履行主体责任提供具体明确的行为规范，引导和督促招标人履职尽责。《指引》围绕标前工作、招标和投标、组织开标和评标、定标、履约管理、监督管理等6个重点环节，逐项明确招标人履行主体责任的方式和要求，强调招标人对招标投标活动的科学性、合法性、廉洁性负责。
博客
破局数字化转型，网易云信与四川央国企共探产业升级新生态
11-13 744
其在产业数字化板块的数字供应链、数据智能应用、数字化工厂、数字化财务等领域拥有深厚的数字化服务落地能力，目前已服务于中国铜业、中国海油、五粮液等众多行业头部客户。后续，集团目标是将平台发展为集采购、贸易、仓储、物流、金融、数据服务于一体的供应链管理者和产业组织者，推动全产业链数字化升级的战略布局，最终构建“优质朋友圈”式产业生态圈。众人纷纷表示，希望能以此次交流为起点，建立更常态化、机制化的互动模式，未来有更多机会齐聚一堂，碰撞思想、促进合作，携手为四川乃至全国的产业数字化升级注入新动能。
博客
AI+文旅+游戏：跨越四百年的“寻梦”之旅
11-11 26
上，深度融合了其在《忘川风华录》中的经典IP形象，精心设定了温文尔雅、博学多才的谈吐风格，让每一次对话都不仅是一次信息获取，更是一场与历史文人跨越时空的风雅对谈，极大地提升了用户的沉浸感。上，“汤公”接入了详尽的遂昌本地历史文献、文旅资料与景点介绍，构建起一个庞大的知识库，确保他能如数家珍般介绍当地风土人情、自身生平轶事乃至《牡丹亭》的创作渊源，做到真正的“对答如流”，将线上流量引导至线下景点。中的汤显祖跨越古今的清梦，一袭紫衣斜倚梅窗，手中的狼毫重新着墨，这一次，写的不仅是戏文，更是与你共享的酣畅对话。
博客
媒体观点丨千家万业拥抱AI，谁为“最后一米”连接兜底？
11-07 31
更致命的是，消费硬件接入的智能体的能力同质化，大多停留在能对话的低阶智能，缺乏人格一致性、长期记忆等高阶智能，可能今天叫用户“宝贝”，明天就忘了用户是谁，这种割裂的体验导致了极高的退货率。传得稳、传得快的通信能力，是AI落地的基本前提，在此之上，AI还须具备能干活的专业能力、能记住我们是谁的情感能力。，网易云信不做基模，避开通用大模型的红海，通过结合场景与历史语料开展后训练，AI能实现更精准的业务适配，比如在会议场景中，AI能依据组织架构识别“谁是领导、谁是项目经理”，让输出更贴合实际需求。
博客
前沿观察 | 网易云信首发，情感陪伴智能体演化五阶段
11-07 570
然而，当前阶段的AI系统在情感认知维度仍存在显著断层，语音交互缺乏对话脉络的连续性，生成式模型尚未建立真正的情感理解，这种情感鸿沟构成了人机协同进化的关键屏障。更重要的是，它能在与用户的长期互动中“共同成长”——理解你的节奏，适应你的风格，并形成双向情感反馈。E0阶段的智能体，依靠脚本规则或固定关键词进行触发和回应，只能被称为语音机器人，做一些机械的来回问答，例如，“你好，我能讲故事”。从“数据到温度”，从“算法到故事”，情感陪伴智能体正在让AI变得更像“人”，也让人类在科技的映照中看见更深层的自我。
博客
远程异地评标政策频发，网易云信如何破解“最后一公里”通讯难题？
11-06 939
据媒体报道，近日，广西-河南、天津-乌鲁木齐、云南-广西等地陆续开展跨省远程异地评标项目，部分地区是《国家发展改革委办公厅关于加快推广远程异地评标的通知》下的首个跨省远程异地评标，打破了传统评标的地域和空间限制，两地区评标资源得到有效整合。”等工作的开展，凸显吉林省“扎紧权力运行的制度笼子”，“不断推动招投标市场从关系竞争转向实力竞争”，“为构建全国统一大市场提供坚实的纪律支撑”的决心。跨省远程异地评标打破了传统模式的空间限制，推动各地专家资源优势互补，使项目能够匹配到更专业的评审力量。
博客
媒体观点丨网易云信，做“单纯”的企业没啥不好
10-31 46
这也意味着，“产品经理+AI”就可突破原有产品经理的能力边界，“产品经理+AI+研发经理”，更能以全新的协作方式，完成“理工直男”与“文艺青年”的融合。未来，AI在重构情感陪伴，也在重构企业中的每一场会议、每一次招投标、每一次技术服务、每一次社交沟通，而只有给网易云信一点点时间，这家公司就会向市场证明，不合流于低端的内卷，不掺杂其他目的单纯地做好产品，这才是正确的方向；或者说，除了传递人与人之间的信息，网易云信更在传递人与AI的信息，其服务将从“基础通信管道”逐步演化为“AI 交互落地的关键引擎”。
博客
媒体观点丨网易云信拥抱下一个十年，能否成为AI领航者？
10-31 30
加上网易系不贪快、不冒进的文化风格，一年一基础，三年一台阶，蜕变就在一点一滴的改变中，理论研究、产品架构、人员变革、客户经营、上下游协同等等，千头万绪从头越，慢下来，会更快。在框架层面，不搞颠覆性改造，聚焦开箱即用的轻量化方案，降低企业接入门槛；网易云信的选择是，不做大而全的AI平台，而是基于十年积累的通信网络向上延伸，距离用户更近，聚焦用户痛点场景，让现有优势具像化。对网易云信而言，这不是“一拍脑袋”而定的事情，也不是“蹭”AI风口，而是在传统融合通信“泥潭”的自我救赎，是仰望未来10年的“再出发。
博客
构筑深度情感联结：故事引擎背后的四种叙事模式
10-30 440
与此同时，导演逻辑始终在后台保持活跃，在关系发展的平稳期、瓶颈期或跃升期适时介入，利用LLM的生成能力创造全新的、个性化的剧情篇章。该模式确保了智能体在长期互动中，性格、行为逻辑与关系认知的高度一致性，为用户提供了稳定且可信的沉浸感基础，让自由探索成为可能。这些由算法驱动、结合用户记忆触发的碎片化情节，以其出现的不确定性与内容的个性化，有效维持了长期关系中的新鲜感与亲密感，形成了一种可持续的吸引力循环。通过四种叙事模式的灵活配置与智能切换，线性的剧本、动态的生成与持续的记忆被编织成一个生生不息的叙事网络，
博客
网易云信携手义乌共建AI玩具生态，义博会签约开启小商品智能化新篇章
10-28 42
网易云信的情感陪伴智能体和 AI 玩具解决方案依托自研的三层记忆架构，成功破解了当前 AI 普遍存在的 “失忆症” 难题，使玩具能够实现从 “单次响应” 到 “持续情感交互” 的升级。网易云信的技术积累与我们的产业基础形成完美互补，此次合作不仅能带动玩具产业提质增效，更将为文具、礼品等更多小商品品类的智能化升级提供示范样本。此次合作，网易云信以 AI 技术赋能玩具产业为核心切入点，旨在携手义乌小商品城共同破解传统小商品产业创新瓶颈，为全球最大的小商品集散中心注入。作为此次合作的技术核心支撑，网易云信基于“
博客
网易云信10周年宣布品牌升级，从“基础通信管道”到“AI交互引擎”
10-23 484
今年8月，国务院印发《关于深入实施“人工智能+”行动的意见》，大力推动人工智能与经济社会各行业各领域广泛深度融合，并为人工智能整体发展划定了清晰的时间表和路线图，提出“到2027年，率先实现人工智能与6大重点领域广泛深度融合，新一代智能终端、智能体等应用普及率超70%，智能经济核心产业规模快速增长，人工智能在公共治理中的作用明显增强，人工智能开放合作体系不断完善”等明确目标。而现在，除了传递人与人之间的信息，我们也在传递人与AI的信息，因为当前外界与AI的一切交流仍然高度依赖通信技术来实现传输。
博客
行业首发 | 网易云信招采会议组件重磅发布，率先适配国家技术标准
10-20 927
对于开发能力薄弱、开发资源有限的平台客户，网易云信提供了带 UI 的 Web 组件和清晰的 API 文档，客户无需投入大量产品设计和开发资源，仅仅通过简单“组件式对接”，便可在极短时间内为现有系统赋予功能完备、体验流畅的音视频会议能力，显著降低开发成本。例如，监督角色默认关闭自身音视频，仅可查看全场情况，且不在成员列表中显示，充分满足了招采业务的特殊需求。云信希望通过技术创新，追平甚至超越传统厂商在低成本集成场景上的能力，为更多的招采平台客户插上“音视频的翅膀”，共同推进行业的标准化与智能化进程。
博客
MCtalk·无限对话云信十周年特别版 | 以 AI 重塑融合通信的价值边界
10-17 73
有一个情况我觉得非常有意思，可能一年前，当我们与客户探讨类似话题时，他们的反应是，“我们自己也能做”，但到了今年，客户的反馈发生了明显变化，虽然市场上有不少开源方案可供使用，但往往效果并不理想，多数都像“搭积木”一样，东拼西凑出了一个成果，只能作为一个demo演示，完全达不到商业化产品的成熟度。我们做ToB业务一直讲要坚持长期主义，就像一场马拉松，一时快不是真的快，特别是我们从事的PaaS业务，更是一个细水长流的过程，在这十年的发展过程中，其实很少有突飞猛进的进展，更多是依靠一点一滴的持续积累。
博客
从“能对话”到“懂用户”，科技让硬件变得“活泼生动”！
10-16 110
在同期举办的主题峰会上，网易数智相关负责人围绕 AI 硬件玩法、体验创新进行了详细的分享，在提及 AI 玩具当前发展与制约瓶颈方面，更是提到：“玩具行业想要摆脱低价竞争格局，AI 玩具发展是一个机会，也是一个方向，但同时传统玩具厂商缺乏相关的。不论是 AI 玩具，抑或其他硬件想进行 AI 化改造，不是接入一个模型或者加一个模组，或者基于开源系统进行智能体开发，而是需要基于用户需求，对。同时，支持中、英、日等多语种及主流方言识别，兼容全球主流 LLM 模型，为硬件厂商提供灵活扩展的技术方案。
博客
网易云信10周年：AI点亮通信的智慧与温度
10-13 870
网易云信的嵌入式智能体为 AI 智能硬件提供了强大的技术内核，将成熟的融合通信能力与 AI 技术深度耦合，精准解决识别、互动、话题扩展、内容安全、定制音色、功耗、芯片适配等多种问题，支持通过摄像头识别用户皱眉、低头等微表情，结合麦克风捕捉的语音语调，双重判断情绪状态。随着 AI 技术蓬勃发展，其更强的知识储存和记忆能力、理解能力、创造能力，以及所展现出的更自然和拟人化的交互特点，都为传统云通信注入了新的活力，推动网易云信从“基础通信管道”逐步演化为“AI 交互落地的关键角色”。
博客
糟糕，我的 AI 玩具又犯“失忆症”了！
10-11 481
例如，用户在一个会话中，明确提到自己在健身，希望能够减重增肌，但在后续会话中，缺乏持久记忆的AI系统，为了迎合用户，可能会推荐烧烤、炸鸡的饮食方式，完全违背用户自己建立的偏好。在具体应用上，三种记忆方式的使用需要根据用户的输入信息，综合考虑最近、相关、重要的记忆，通过上下文传递给大模型（ LLMs），协助 AI 给出更好的响应内容。综合来看，网易云信基于开源系统和记忆产品的设计目标，通过自研的情感陪伴智能体记忆框架补齐了开源记忆项目的几处短板，并进行了架构层面的优化。1.记忆体的具体实现，还在不断地演进。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值