音视频基础学习（一）

音频

模拟信号转换成数字信号，通过采样、量化和编码三个步骤完成
采样：奈奎斯特采样定理/乡（香）农采样定理，需要按照比声音最高频率高两倍以上的频率进行采样
量化：把采集到的信号进行数字化，表示信号强度
编码：按照一定的格式记录采样和量化后的数据
声道数：音源数量
音频帧：音频是流式的，所以一般取某一段时长音频为一帧
音频编码：降低采样指标或者压缩
压缩编码的原理就是压缩掉冗余数据

编码格式	特点	适用场合
PCM	音质好，体积大，认为无损
WAV	PCM数据格式之前添加44字节，分别描述采样率、声道数和数据格式；音质好，大多数软件支持	多媒体开发的中间文件、保存音乐和音效素材
MP3	中高码率效果比较好，兼容性好	高比特率下对兼容性有要求的音乐欣赏
AAC	通过附加编码技术应对不同场景	多用于视频中的音频编码
OGG	可以用比MP3更小的码率实现比MP3更好的音质，兼容性不好，不支持流媒体特性	语音聊天的音频消息场景

视频

三原色：红绿蓝
度量：色调、饱和度和明度（色调：颜色的外观；饱和度：颜色的纯洁性，区别颜色明暗的程度；明度：对物体辐射或发光多少的感知属性，用亮度来度量明度）
颜色空间：RGB和YUV
预测编码：基于图像相关性进行数据压缩的一种方式
变换编码：将空域图像信号映射变换到另外一个矢量空间，这个过程会产生一系列的变换系数，然后对这些变换系数进行编码处理
混合编码：融合预测编码和变换编码

空间冗余：图像相邻像素之间有较强的相关性
时间冗余：视频序列的相邻图像之间内容相似
编码冗余：不同像素值出现的概率不同
视觉冗余：人的视觉系统对某些细节不敏感
知识冗余：规律性的结构可由先验知识和背景知识得到

编码器：预测、变换、量化、熵编码
解码器：熵解码、反量化、反变换、预测

https://blog.youkuaiyun.com/qq_34447388/article/details/78997339 图片来源

编码标准	特点
MPEG-1	该标准的优点是压缩方式相对时域压缩技术而言要复杂得多，同时编码效率、声音质量也大幅提高，编码延时相应增加。缺点是频宽要求较高
MPEG-2	具有更高的图像质量、更多的图像格式和传输码率的图像压缩标准
MPEG-4	利用很窄的带宽，通过帧重建技术、数据压缩，以求用最少的数据获得最佳的图像质量
H-264	高压缩比率，在技术方面，高精度、多模式的位移估计，基于4*4块的整数变换、分层的编码语法等内容都使得H.264算法具有很高的编码效率，同时，H.264的码流结构网络适应性强，能够很好地适应IP和无线网络的应用
H-265	新技术使用先进的技术用以改善码流、编码质量、延时和算法复杂度之间的关系，达到最优化设置

封装：媒体的容器，把编码产生的多媒体内容混合封装在一起的标准
平时常见的那些视频格式就是容器

格式	后缀
AVI/DV-AVI	.avi
MPEG	.mpeg/.3gp/.mp4
WMV	.wmv/.asf
Real Video	.rm/.rmvb
Flash Video	.flv