【鸿蒙南向开发】音视频引擎HiStreamer插件详解

一、HiStreamer产生背景

数字多媒体技术在过去的数十年里得到了飞速的发展，音乐、电话、电视、电影、视频会议等等，伴随着我们度过每一天。为了给用户提供丰富的多媒体处理能力，业界已经有比较成熟的音视频引擎，比如开源的音视频引擎 GStreamer。为什么我们还要打造一款新的音视频引擎呢？

随着万物互联时代的到来，越来越多的智能化设备出现在我们的生活中。比如：智能冰箱可以通过屏幕和声音，告诉人们储藏的菜品快要过期了；智能闸机可以通过人脸识别，自动完成检票工作；智能门锁可以通过语音和视频，提升开锁的效率和安全性…

与PC、手机等标准（Standard）设备不同，很多智能化设备的CPU处理能力比较弱、内存也比较小，传统的音视频引擎无法支持此类设备。HiStreamer 应运而生，既支持轻量级的 Mini/Small 设备，也支持 Standard 设备（目前支持部分功能）。HiStreamer 在不断发展和完善中，未来将会支持 Standard 设备的更多功能。

二、“管道+插件”，实现弹性部署

为了支持 Mini/Small/Standard 设备，HiStreamer 采用管道（Pipeline）和插件（plugin）的软件架构，从而可以根据设备的硬件和需求差异进行弹性部署。HiStreamer 把音视频处理的每个过程抽象成节点，上一个节点的输出，作为下一个节点的输入，把多个节点连接起来，整体形成一个管道（Pipeline），完成音视频的数据读取、解封装、解码、输出的完整流程。同时，插件可以为 Pipeline 的节点提供丰富的扩展功能，让 HiSteamer 的音视频处理能力更强大。

1. Pipeline框架介绍

为了让大家理解 HiStreamer 的 Pipeline 框架，下面以 MP3 音频播放为例讲解：

输入是一个 MP3 文件，输出是播放出的音乐，这中间经过了很多步骤。

先来看一下 MP3 文件结构：

MP3 文件由 ID3 Metadata 容器头和若干 MP3 Frame（MP3 数据帧）构成。每个 MP3 Frame 又由 MP3 Header（MP3 头信息）和 MP3 Data 构成。这一系列的 MP3 Frame 称为 ES Data（ Element Stream Data）。

● ID3 Metadata：容器头，主要包括标题、艺术家、专辑、音轨数量等。

● MP3 Header：包含 MP3 Sync word（标识 MP3 数据帧起始位置）和 MPEG 版本信息等。

● MP3 Data：包含压缩的音频信息。

播放 MP3 文件，首先需要把 MP3 文件数据读进来，然后去掉 ID3 Metadata 容器头（即解封装），再把一系列 MP3 Frame 解压缩成 PCM（Pulse-Code Modulation࿰