Rain_ZZX的博客

作者在开发过程中需要进行对视频进行变速不变调的开发，于是使用sonic库来实现对应的功能。sonic库github地址：https://github.com/waywardgeek/sonic其中 sonicWriteShortToStream(is->sncStream, (short*)is->audio_buf, actual_out_samples);sonicWriteShortToStream函数需要传入short*参数 因此对其大小要重新进行计算。

当我们推流 SRS服务器也可以收到对应flv文件的格式信息。这里使用ffmpeg进行演示（当然OBS更好）检测当前环境是否满足。

往往是转化时视频源帧出现的问题，如果通过普通的拷贝可能拷贝不完整导致出现问题。获取帧后 通过API 将解码的帧全部拷贝到vp中。

RTSP是一个，是一个的协议。通常说的RTSP包括RTSP协议、RTP协议、RTCP协议。

SDP（Session Description Protocol）是一种描述会话（Session）的应用层控制协议，用于在多媒体通信中传递会话相关的信息。它被广泛应用于实时流媒体、视频会议、互联网电话等领域。

音频的播放比视频输出的要麻烦点啊，主要是优快云大多数都是落后的，要么是到处复制粘贴的，我在实现过程中学了很久啊，大多数优快云文章都是使用旧的API 已经被否决了，于是我读一些官方文档，和一些开源项目音视频的输出过程，才把这块弄懂，但是代码中仍然有问题比如会有刺啦刺啦声音（我猜测应该是PCM数据没有无缝连接上导致的）如果有音视频大佬看到这篇文章，希望大佬们在评论区提出宝贵意见。作者也放寒假了，在家无聊，可能会考虑直播敲个播放器吧，maybe？感觉这个专栏没多少人看呃，哎~

所谓音视频解码，其实是将压缩后的视频数据（例如：h264,h265等等)解压成可以播放的原始数据(YUV420,YUV422,YUV444,RGB等等) 将压缩后的音频数据（例如：AAC）解码成原始数据（PCM）；

SDL不仅包括图像处理，音频处理，输入输出，还支持多线程和事件的开发，而且SDL是跨平台的。我们这里在得到解码后的音频或者视频数据后用SDL库，来对音视频的原始数据进行播放。

1.AVFormatContext是贯穿全代码的结构体，也是最重要的结构体，大部分变量都能通过此结构体找到，在大型项目中，此结构体将所有函数联系在一起，是音视频开发中的核心.一、本文章将按照（一）的解码流程 来实现音视频数据包的解码。并且将原始数据通过SDL播放的流程（二中讲到），简单实现画面的播放（目前先只实现视频）。（这里由于获取的视频大小正好是全屏的分辨率，所以我将window的参数大小改成800*640了 ）主要是获取打开流的文件格式 ，以及各个流的压缩格式，为后面寻找解码器的类型做好准备。