技术玩法大升级，网易MCtalk揭秘5G即时通讯技术背后的秘密

目前短视频 、互动直播等音视频应用火爆，抖音，快手等已经成为当红流量入口，音视频技术有了长足的发展。随着社交的流行、玩法的增加，IM功能也成为众多App中必备功能之一。2019年伴随着5G、AI热度持续升高即时通讯和音视频技术将会有哪些发展？

好奇心，构建音视频算法核心；经验漏斗，筑造 IM 底层架构。10月26日，网易 MCtalk技术沙龙——“5G万物智联下的互联网通信技术”，邀请到网易云信、Bilibili、微帧科技、东方新闻研发负责人，一同分享关于 IM 与音视频技术的经验值与好奇心，共同探讨 5G 万物智联下的互联网通信云技术。

网易云信

基于IM即时通信的Flutter开发实践

Flutter从诞生到现在，已经成为了跨端开发的领跑者。其开发应用的流畅体验、开发效率之高，并且支持多种开发工具的插件化使用等优点受到了大量开发者的关注，国内外越来越多的公司走上了Flutter探索之路。但目前Flutter的生态还不算很好，很多必备的功能并不完善，例如原生播放器功能较少，没有即时通讯功能框架等等。所以，网易云信为开发者提供了基于Flutter平台的IM与音视频解决方案。

在社交如此流行的今天，IM成为很多APP中必备功能之一，正因如此网易云信资深开发工程师孙有军在技术沙龙上针对在Flutter封装相关的知识做了全面分享，详述了在基于云信Android SDK以及iOS SDK进行Flutter SDK封装过程， 阐述了封装过程中的各种注意事项，提出了各种结合项目的最佳实践，同时还分享了在封装过程中需要注意的点，并且对封装后的SDK进行了产品开发验证， 构建了一个新的跨平台视频应用， 同时分享了在做产品过程遇到的“坑”和解决办法，尤其是针对当前平台对iOS支持不如Android情况下，iOS遇到的特有问题进行了分享。

Bilibili

视频质量主观对比分析实践

国庆前夕，4K新版《开国大典》在各大视频网站大火，老电影翻新技术让历史经典清晰重现。随着视频技术的发展，视频编码工作也越来越精细化，老电影翻新，超分辨率等技术的流行，无不对转码质量有着更高的要求。那要如何做好转码工作？视频质量如何评估？作为中国覆盖范围最广、知名度最高的视频弹幕动漫平台，Bilibili进行了哪些实践，又得到了什么经验？

Bilibili资深技术工程师青石在沙龙现场和我们分享了视频质量主观对比分析实践，并详细介绍了B站如何优化视频转码工作。青石介绍道，视频转码的优化首先需要有一个明确的质量评价体系目前业内通用的有PSN、SSIM、VMAF等。但是有时这些全参考系的评价标准并不特别合适。转码效果最终是要面向用户的，我们以播放器的形式在同一个窗口同时播放转码前后的两个视频，播放时可以任意分配两个视频的显示比例，利用人眼的视觉暂留特性，可以非常方便的对比分析两个视频的质量差异。

网易云信

超高清 4K 视频低延时直播与 RTC 融合架构设计

4G 带来了音视频 APP 的爆发，各路音视频业务为主的公司百花齐放，音视频技术无论在广度还是深度上都蓬勃发展，迎来了质的飞跃。而5G 高带宽，低延迟的特性，更是为音视频技术带来无限可能。

网易云信多媒体资深技术架构师吴桐在技术沙龙上分享了超高清4K视频低延时直播与RTC融合架构设计实践，从5G与未来网络格局、超高清编码到直播与RTC融合架构的设计的相关知识进行了全面分享。

关于低延时的直播与RTC融合架构吴桐谈到主要分成两部分，一个是低延时，从传输维度来说低延时有几点决定因素，包括传输协议的选择，拥塞控制算法的选择，服务器分发网络怎么做，包括第一公里的解决方案等。另外还有发送端的采集编码、前处理延时，接收端Jitterbuffer处理延时，解码播放延时等。

第二是直播与RTC融合架构，网易云信对外服务NRTC是一个工业级功能完整的音视频融合服务框架。NRTC支持采用网易云信自研的UDP低延时协议实现实时音视频与低延时直播，也支持使用基于标准RTMP协议的直播推拉流，同时将上述两者结合对外提供旁路直播方案。NRTC还对外提供直播与点播的融合CDN分发能力，通过融合CDN提高了分发网络的容量的同时保证了更高的系统鲁棒性。在支持客户端类别的方面，NRTC及支持传统的iOS、Android与Windows PC端的接入，还通过各类网关支持了标准WebRTC、微信小程序音视频的接入。综上，NRTC对外提供的能力十分全面，相关的功能也非常成熟稳定，NRTC在线上支撑了网易内外部各客户的海量应用。

在分享的最后吴桐还对AI、VR、IoT与5G边缘计算等前沿技术在音视频领域的应用做了相关的总结与展望。

微帧科技

实时视频通信中的AV1优化

视频的实时通信对编码器的编码性能、编码速度以及时延均有严格要求。AV1为新一代视频编码标准，由开放媒体联盟多家会员联合打造，于2018年6月封稿。相比已有编码标准，AV1增添了70+个编码工具，显著提升了编码效率。由于编码标准本身的复杂度，AV1编码器的设计，尤其在实时视频通信中的应用实践，面临挑战。与此同时，深度学习在视频编码，尤其针对AV1编码优化，相比深度学习在图像编码中的探索，任重道远但具备持续优化的潜力。

MCtalk技术沙龙中，微帧科技Zoe详细介绍了机器学习在视频编码中的实践与运用，做一些初浅的探索。与此同时，微帧科技在AV1编码器优化中的初始结果，给出比对小结，性能指标包括编码效率（BD-Rate），编码速度，以及码控等，主要相比目前的主流编码器x264，x265，以及目前AV1主流开源编码器libaom/SVT-AV1，给出针对视频实时场景的比较结果，并跟与会者分享了AV1编码器优化的基本思路与框架。

东方新闻

直播平台建立监控体系实践

随着5G技术的来临，在线直播行业发展持续加速，据艾媒咨询数据显示，2017年在线直播用户规模达到3.98亿人，2018年在线直播用户规模达到4.56亿人，并预计2019年将突破5亿人。在线直播行业发展继续加速，直播行业将持续迎来洗牌热潮。业务的发展带来需求的升级，并为直播技术带来新的课题。5G+AI在直播行业如何应用？如何设计和实现更完善的直播监控体系？如何实现通过数据去驱动业务发展？

在MCtalk技术沙龙上，东方新闻技术总监曾小伟，从直播平台发展趋势说起，详细介绍了直播平台的架构分析以及直播平台监控体系的设计，并分享了如何通过监控平台的数据分析来协助业务发展。他提到，监控平台的数据分析是帮助业务方把业务漏斗做的更好。要明确业务方的核心需求，监控数据以合理的展现形式，提供给业务方所需的数据样本，来帮助市场更好的投放，主播提高留存，产品优化缺陷活动提高流水。

5G不仅仅推动技术变革，更是为音视频行业带来新的机遇，更多场景的应用亟待发掘。网易云信凭借19年IM及音视频技术累积，一直走在行业及技术的前沿，不断摸索、创新，致力于帮助客户提升效率，降低成本，不错过5G带来的任何一个新风口。

点击【阅读原文】，立即获取完整版分享资料。