开发直播的正常流程

1.采集视频、音频

*1.1 采集视频、音频编码框架 *

*1.2 视频、音频硬件设备 *

· CCD :图像传感器：用于图像采集和处理的过程，把图像转换成电信号。

· 拾音器 :声音传感器：用于声音采集和处理的过程，把声音转换成电信号。

· 音频采样数据 :一般都是PCM格式

· 视频采样数据 : 一般都是 YUV ,或 RGB 格式，采集到的原始音视频的体积是非常大的，需要经过压缩技术处理来提高传输效率

2.视频处理（美颜，水印）

· 视频处理原理 :因为视频最终也是通过GPU，一帧一帧渲染到屏幕上的，所以我们可以利用OpenGL ES，对视频帧进行各种加工，从而视频各种不同的效果，就好像一个水龙头流出的水，经过若干节管道，然后流向不同的目标

o 现在的各种美颜和视频添加特效的app都是利用GPUImage这个框架实现的,.

*视频处理框架 *

· GPUImage : GPUImage是一个基于OpenGL ES的一个强大的图像/视频处理框架,封装好了各种滤镜同时也可以编写自定义的滤镜,其本身内置了多达120多种常见的滤镜效果。

· OpenGL :OpenGL（全写Open Graphics Library）是个定义了一个跨编程语言、跨平台的编程接口的规格，它用于三维图象（二维的亦可）。OpenGL是个专业的图形程序接口，是一个功能强大，调用方便的底层图形库。

· OpenGL ES :OpenGL ES (OpenGL for Embedded Systems) 是 OpenGL三维图形 API 的子集，针对手机、PDA和游戏主机等嵌入式设备而设计。

3.视频编码解码

*3.1 视频编码框架 *

· FFmpeg :是一个跨平台的开源视频框架,能实现如视频编码,解码,转码,串流,播放等丰富的功能。其支持的视频格式以及播放协议非常丰富,几乎包含了所有音视频编解码、封装格式以及播放协议。

o -Libswresample:可以对音频进行重采样,rematrixing以及转换采样格式等操作。

o -Libavcodec:提供了一个通用的编解码框架,包含了许多视频,音频,字幕流等编码/解码器。

o -Libavformat:用于对视频进行封装/解封装。

o -Libavutil:包含一些共用的函数,如随机数生成,数据结构,数学运算等。

o -Libpostproc:用于进行视频的一些后期处理。

o -Libswscale:用于视频图像缩放,颜色空间转换等。

o -Libavfilter:提供滤镜