基于UDP的PC对PC的屏幕广播技术要点

最新推荐文章于 2024-07-16 14:09:49 发布

吴豪乐工作室

最新推荐文章于 2024-07-16 14:09:49 发布

阅读量979

点赞数

分类专栏：基于FFMPEG和SDL2的音视频直播功能制作文章标签： udp ffmpeg sdl dxgi h.264

本文链接：https://blog.youkuaiyun.com/weixin_41353840/article/details/113172672

版权

基于FFMPEG和SDL2的音视频直播功能制作专栏收录该内容

14 篇文章

订阅专栏

最近在制作一个基于UDP的屏幕广播，这个屏幕广播的需求是:

(1)仅仅实现电脑屏幕的画面传播即可，不需要进行音视频的同步

(2)屏幕广播实现后需要延时达到500ms以内。

一、屏幕广播的整体框架实现思路

电脑端的画面采集(rgb)->图像数据的编码压缩(rgb->yuv->h264)->采集端发送数据->渲染播放端接收数据->图像数据解码(h264->yuv)->图像渲染播放(yuv)

二、技术选型

(1)电脑端的画面采集目前选用dxgi或者gdi，优先选用dxgi(效率比gdi高)

(2)图像编解码使用开源的ffmpeg进行实现。

(3)选用udp进行传输:udp的传输时延低以及udp能够进行广播数据，不需要额外手段进行转发数据。

(4)图像渲染:目前选用sdl，因为sdl开源、跨平台的特性可移植性强，因此为将来移植到安卓端做好准备。

三、技术难点

(1)udp每次传输的数据大小比较小，最大是1472字节，如果每次发送数据大于这个值时，udp是无法广播出去的，导致接收端接收不到数据，最终导致屏幕广播无法正常运行。

==》解决的方法:解决方法目前我想到的是模仿rtsp和sip的方式，对udp数据进行分片处理，例如发送一帧200k的h264数据时需要将其拆分为大概20个数据碎片发送，然后再在接收端接收和拼接组装成一帧再播放。

(2)由于使用了(1)的方式，因此在传输过程中很可能会存在丢帧的情况而导致存在有些帧的数据不完整，存在丢帧的原因一般有如下:

a)发送端的发送速度过快导致接收端还没处理好上一次数据的情况下，本次的数据已经来了，导致本次的数据丢失，造成数据不完整。

b)接收端处理数据的效率过低，导致本次数据来了，但是还在处理上一次的数据而导致数据丢失。

针对上述两个原因给出如下做法建议:

a)如果音视频传输的延时性要求不高的话可以适当降低每次发送数据的频率来缓解数据丢失的问题。

b)如果音视频传输的延时性要求较高时，以本项目为例:要求为500ms以内，此时根本不可能说需要降低发送端的发送频率的，应该需要发送端尽快处理完数据后马上发送才是合理的；因此此时应该需要做的是尽可能的提高接收端接收数据后的处理效率，尽可能做到接收完数据后马上能够进行下一次等待接收数据的状态，以此保证能够尽可能减少丢失数据，本项目的做法接收完数据后在最短的时间拼接完数据后，数据插入解码链表中，然后马上转到接收数据的状态。

==>尽管我们此时已经将接收数据和接收数据后的处理效率提高到极限了，但此时还是很有可能存在数据丢失的问题，因为对应不同的硬件cpu处理的效率是不一样的，有的cpu性能好点，它就处理的快点，而不会出现花屏情况；但是有些性能没那么好的cpu在代码最优的情况下时效率仍无法满足实际的需求时，就会出现花屏的情况，针对这个问题，也是有解决方法的，如下将讲述。

c)针对不同cpu处理效率不同，还存在的花屏的情况的话，可以想清楚一个问题，究竟为什么使用udp传输时存在丢失数据呢？

==>原因是udp接收端会有自己的一个数据缓存区的，这个缓存区的容量如果我们不设置会有一个默认值的，对于我的windows的系统而言，默认的udp接收缓冲区的大小为64K字节，在使用后setsockopt()函数将udp接收缓冲区的大小设置为1024K字节大小后，查询到的是1048576字节即1024K，证明设置成功了。

		//设置该套接字为广播类型，  
		bool bOpt = true;
		setsockopt(s, SOL_SOCKET, SO_BROADCAST, (char*)&bOpt, sizeof(bOpt));
		
		//获取udp默认缓存区大小
		int optVal = 0;
		int optLen = sizeof(optVal);
		//optoptLen_len = sizeof(optVal);
		getsockopt(s, SOL_SOCKET, SO_RCVBUF, (char*)&optVal, &optLen);
		printf("SockOpt Sendbuff BeforeSet Value:%d, optLen:%d\n", optVal, optLen);
		
		//设置udp接收端缓存区大小
		int nRecvBuf = 1024 * 1024;//设置为500K
		ret = setsockopt(s, SOL_SOCKET, SO_RCVBUF, (const char*)&nRecvBuf, sizeof(int));
		if (ret != 0)
		{
		        printf("setsockopt ret:%d\n", ret);
		}
		
		//设置后的查询
		getsockopt(s, SOL_SOCKET, SO_RCVBUF, (char*)&optVal, &optLen);
		printf("SockOpt Sendbuff BeforeSet Value:%d, optLen:%d\n", optVal, optLen);