音视频基础知识（1）

音视频通常指的是音频和视频两种媒体内容的组合，音频指的是声音、语音等可听性的信息媒介，而视频则涉及到图像、动作等可视性的内容。音视频技术广泛应用于互联网、电视、电影、游戏等多个领域。

1 基础知识

容器/文件（Conainer/File）：即特定格式的多媒体文件，比如mp4、flv、mkv等。
媒体流（Stream）：表示时间轴上的一段连续数据，如一段声音数据、一段视频数据或一段字幕数据，可以是压缩的，也可以龛菲压缩的，压缩的数据需耍关联特定的编解码器。
数据帧/数据包（Frame/Packet）：通常，一个媒体流是由大量的数据帧组成的，对于压缩数据，帧对应着编解码器的最小处理单元，分属于不同媒体流的数据帧交错存储于容器之中。

• 一般情况下：
  • Frame对应压缩前的数据，Packet对应压缩后的数据。

编解码器（Codec）：以帧为单位实现压缩数据和原始数据之间的相互转换的。
复用（muxing）：把不同的流按照某种容器的规则放入容器，这种行为叫做复用。
解复用（demuxing）：把不同的流从某种容器中解析出来，这种行为叫做解复用。

1.1 编解码器 Codec

编解码器是音视频处理过程中的重要组成部分，它们可以将未压缩的音视频数据进行压缩，并在播放时进行解压缩和解码，以减小音视频数据的大小。

音视频编解码器

1.2 解复用/复用

解复用是指将从一个信号源传输过来的多路复用信号分离成单独的分组、流或信道，使得每个分组、流或信道可以独立处理或传输。解复用在数字通信、数据存储、音视频传输等领域都有广泛应用，可实现高效的信号传输和处理。

解复用流程

---

复用通常指将多个音视频流合并成一个完整的音视频文件。换句话说，复用就是将多路音视频流混合后打包成一个容器格式的操作。

复用流程

2 视频相关参数

1. 分辨率（Resolution）：表示视频的宽和高，例如 1920x1080 表示宽为 1920 像素，高为 1080 像素。
2. 码率（Bit rate）：比特率（也叫码率，数据率）是一个确定整体视频/音频质量的参数，秒为单位处理的位数，码率和视频质量成正比，在视频文件中中比特率用bps来表达。码率越高则画面质量越清晰，但是文件大小也会变大。
3. 帧率（Frame rate）：帧率也叫帧频率，帧率是视频文件中每一秒的帧数，肉眼想看到连续切换图像至少需要15帧。
4. 编码格式（Codec）：表示将视频压缩成数字信号的算法，常见的编码格式包括 H.264、H.265、VP9、AVC、MPEG-4等。
5. 容器格式（Container）：表示视频文件的存储格式，常见的容器格式包括 MP4、AVI、MKV、FLV等。
6. 色彩空间（Color Space）：表示视频中的颜色范围及颜色精度。常见的色彩空间包括 RGB、YUV、HDR等。

• 码率和帧率是视频文件的最重要的基本特征，对于他们的特有设置会决定视频质量。如果我们知道码率和时长那么可以很容易计算出输出文件的大小。

3 音频相关参数

1. 采样率（Sample rate）：表示每秒钟采集的样本数，通常以 Hz（Hertz）为单位表示。例如44.1kHz表示每秒钟采样44100次。
2. 位深度（Bit depth）：表示音频每个样本占用的比特数（即量化精度），越高则音质越好、文件大小也越大。常见的位深度包括16 bits、24bits等。
3. 声道数（Channels）：表示音频中声道的数量，常见的声道数包括单声道（Mono）、立体声（Stereo）和环绕声（Surround Sound）等。
4. 编码格式（Codec）：表示将音频压缩成数字信号的算法，常见的编码格式包括MP3、AAC、FLAC、WAV等。