TS OVER IP的多画面合成

http://www.cppblog.com/elva/archive/2013/05/31/200717.html

    许久没写博客了，似乎现在也很难静下心来去写东西，倒也不是心情浮躁，以前的写blog用来收集网上文章，记录自己的一些经验，后来假设了自己的文件服务器，用wiz做了笔记的server,收集什么东西用wiz就完成了，自己记录点经验也不在乎格式，也都没拿出来分享。这次辛辛苦苦做完一个项目，其中遇到一些问题，没有网络上的资料自己是很难解决的。因此整理点东西，与大家分享，也不能总受之与人吧。

    终于做完了多画面合成的项目，颇有心得，其间也遇到一些问题，没有网络上的资料自己是很难解决的，但也不是所有东西都能在网上找到办法，使用ffmpeg遇到太多问题，许多只能通过阅读源码解决。如今做完了，拿出来与众分享。
画面合成器是将多个承载于UDP的TS流（MPTS，SPTS）解码，将解码后图像缩放成小画面，再将各个源合并成2x2,3x3,4x4等方式，实现电视墙的效果。
项目的需求是这样的：
1.UDP输入UDP输出
2.提供源切换的接口，客户会再某个时刻换掉某个源
3.良好的异常处理，某个UDP源断流或恢复不影响现有节目。这不是客户的要求，但有过大型项目经验的人知道，这是一定要考虑的
从实现层面来讲，需要以下技术点：
1.UDP单播组播接收
2.TS封装的H264与MPEG2视频解码为YUV
3.YUV缩放
4.YUV画面拼接
5.合成后的YUV压缩为H264
6.压缩后的视频打包TS
7.打包后的TS通过UDP发送
8.发送时需要进行流控，保证VLC可正常播放。
这些技术点不算难，真正的难点在于统筹运作，N个源各自的解码后画面输出速度不同，虽然我们要求各源帧率相同。各解码线程画面输出虽整体相同，但肯定会忽高忽低。如果每个源都正常的话，我们可以等待每个源都有画面的时候才进行合成。但是我们需要考虑源断流与恢复，就不能一直等待某个源。其二，为了支持源切换，我们应该涉及好运作模式，实现无缝切换，但这些只是我特定 业务的需要，接下来只讲与ffmpeg相关技术。
先讲上面提到的8个技术点，UDP收发就不用说了，值得一提的是接收需要使用异步模式，这个在后面会提到。除了YUV画面拼接，其他都可以用ffmpeg sdk实现。因此主要讨论使用ffmpeg进行解码编码，这种技术文章其实很多，但他们一般只有简单的方案，对于这些比较常见的东西，我们也不做讨论，只讨论几个重点，而又缺乏资料的问题，主要有：
1.对解码及编码自定义io回掉。UDP接收及发送不通过ffmpeg实现。对于UDP源来说，ffmpeg对MPTS支持不好。对于输出UDP来说，ffmpeg没有流控