【视音频编程学习】：音视频基础知识 & 影响音视频延迟的关键因素

音视频系列文章

这里是之前做的一些总结和经验分享：

【视音频编程学习】：使用FFmpeg读取PCM文件编码发送

---

前言

要学习音视频编程，首先要了解许多的音视频知识，音视频领域由于其商业性和封闭性，所以想要系统的学习具有一定的难度，但是在近几年的发展中，有越来越多的音视频相关的知识开放出来，也有越来越多的程序员开始涉足这一领域。那就不得不提一下雷神和JackJiang这两位大佬。希望大家能够互相交流，互相学习，将这一领域发展得越来越好。

---

一、音视频基础知识

1.基础知识

• 分辨率
  • 分辨率决定了位图图像细节的精细程度；
  • 单位：dpi (点每英寸)、lpi (线每英寸)、ppi (像素每英寸)、PPD (角分辨率) dpi一般是印刷或打印领域，ppi为电脑显示领域
  • 1080P 的 P 指 Progressive scan（逐行扫描），即垂直方向像素点，也就是 “高”，所以 1920 * 1080 叫 1080P， 不叫 1920P。
• 上下采样
  • 上采样： 720p的视频在1080p的显示器上播放，就叫做上采样，需要采用图像插值的算法，来将其放大。
    • 邻插值算法
    • 双线性插值算法
    • 双三次插值算法
  • 下采样：与上采样对立，采用的方法是对于一个样值序列，间隔几个样值取样一次。
• 比特率（码率）BitRate

  • 在多媒体领域可以理解成吞吐量或带宽，单位为bps，每秒传输的数据量。

  • 计算公式：码率（kbps）= 文件大小（kb）/ 时长（s）

  • 动态比特率 Variable Bit Rate

  • 静态比特率 Constant Bit Rate

• 采样率 sampleRate
  • 每秒从连续信号中提取并组成离散信号的采样个数，单位为赫兹（Hz）。
  • 对于视频来说可以分为层面：帧频和场频
    • 从帧频层面来说：采样率就是指帧率，指 1 秒钟显示多少帧图像；
    • 从场频层面来说：采样率就是指像素频率，指 1 秒钟显示多少个像素。像素频率 = 帧率 X 帧像素数量（分辨率）
• 帧率 FPS （Frame per second）
• 编码标准：