【百度智能云】媒体sdk 中间件设计 笔记

移动音视频sdk 工程实践

• sdk的数据采集和处理
• 李明路老师
• 对GPUIMAGE 在引用时，异步线程 需要 传输时内部做一些引用机制
• android 上exoplayer 作为插件 给短视频用 做解码，软解更普遍 。
• cpu 、帧率 、内存、耗电 来评测
• 传输包体大小 ，sdk作为可拆分可场景化
• 对模型加载，后加载的方式
• 265和av1都在用
• 移动端 265 硬件能力
• av1 是移动端比较少，服务端多
• 客户端合流 或者 旁路转推
• ijk exoplayer都有用
• 基于关键帧
• 快速seek ，寻找相近的I帧，最近的I帧。
• 软件硬解码的动态切换；200 300毫秒的延迟。
• 无感知： 数据缓冲来弥补掉耗时
• 空间换时间。
• 渲染的时候，会有一个时间的差值

大前端

点播 直播 连麦 短视频 小程序
大前端
金融和多媒体？
企业级音视频的架构、跨端的统一方案

技术演进