互动协作白板与音视频实时同步技术实践

本文整理自即构科技互动白板技术负责人陈晓聪在LiveVideoStack的线上分享，内容主要围绕白板与音视频的同步和白板的多端实时互动两个角度，深度解析即构在互动白板方面的技术探索实践。

文 / 陈晓聪

整理 / LiveVideoStack

大家好，我是来自即构的陈晓聪，现在主要负责互动白板的技术研发工作。接下来我将为大家分享即构在互动白板的技术探索实践。

本次分享先主要围绕以下3个方面展开，互动白板的产品能力简要介绍，互动白板的整体技术框架介绍还有互动白板的技术优势解析。技术点主要围绕音视频与白板的同步和多端实时互动同步讲解。

互动白板产品简介

首先我们为大家介绍即构互动白板的产品特点，它依托于即构成熟的亿级海量用户实时信令网络，提供了功能齐全的百人实时在线白板互动服务，具有以下几个特点。

全面覆盖主流平台、主流框架：我们各个平台的技术方案都是基于原生平台的技术框架开发，不依赖第三方框架，这主要是方便进行性能优化还有降低SDK包的大小。

互动涂鸦实时同步：这个功能可以做的很简单，但是要能够适应各种变化操作请求和网络环境的话，还是比较有难度的，这也是我们要探讨的一个技术点。

l白板绘制与音视频实时同步：这是对于提升用户体验还是很大的一个功能点，也是我们此次分享要重点探讨的。

主流文档格式支持，包括PPT/PPTX/DOC/DOCX/XLS/XLSX/PDF/PNG/JPG/JPEG/BMP/TXT等常见的PPT、DOC、XLS，各种图片格式、文档格式等，且支持动态PPT。根据我们的了解，在支持文档格式方面，即构应该是现在行业内支持最全的。

丰富的白板教具，包括画笔、问题、直线、矩形、椭圆、激光笔、橡皮擦等标准的工具。

白板与音视频的实时同步录制：这个功能主要是用于音视频和白板的实时云端录制，目前还处于内测阶段，相信很快就可以上线了，大家到时候可以关注一下。

以上就是对即构互动白板产品能力的介绍。

互动白板技术框架

接下来，我们来了解一下互动白板的整体的技术框架。

从上图可以看到，我们的整体技术框架主要由5个模块构成。互动白板服务主要负责信令数据的处理、存储、转发，同步信令就是由这个服务来完成的。文档转码服务主要负责文档的转码和文件访问的鉴权控制，我们的转码服务支持转码出pdfPDF和SVGsvg，这两种文件格式都支持矢量放大，所以在客户端可以呈现一个较好的放大效果现场结果。云录制服务用于对音视频流和白板进行实时现场云端录制。对象存储和内容分发网络主要是基于云厂商提供的存储和分发能力。

大家可以看到，我们整体的设计思想是课件的存储与互动相分离，以便于进行扩容。转码与存储相分离，除了可以使用即构的对象存储，我们给了客户更多的选择，比如客户可以不使用即构的对象存储和内容分发，而选择使用自己的云存储和内容分发。毕竟有的客户，比如说教育行业对课件的安全性是比较敏感的。整个服务目前已经实现全球部署、就近接入，我们的互动白板服务、文件转码服务、云录制服务都在国内外部署了集群和全球的代理节点，便于用户的信令就近访问。依赖云厂商提供的全球能力存储和内容分发，我们也能够实现客户对文档资源的就近访问。

这套技术框架从我们的实现来看，在并发性和吞吐性方面的表现是很出色的，这其实也是依赖我们在音视频信令