hanhan的博客

流媒体协议的选择与分发体系架构的设计对优化起着关键作用。HLS和DASH协议在点播和OTT直播服务中已逐渐占据主流，其思想主要是将视频转为不同码率并切为较小的片段，将流媒体分发从服务器推送转向客户端以HTTP下载方式获取，在此情境下，客户端下载策略是技术优化的重点，主要集中的方面：早先视频服务的下载策略多由工程师凭经验设置，基于IF…ELSE…构造逻辑，但随着各家公司工程水平的提高，许多团队开始使用较复杂的算法作为下载策略，以争取QOS上出色的表现。当前通用的做法是将策略组件化，且针对不同平台和场景使用不同

QOS（即Quality of Service，服务质量）主要指网络环境下服务满足用户的程度，在视频服务的语境下也可认为是Quality of Streaming，即流媒体服务的质量。通常，QOS可以由一系列指标表达，如传输的速度、响应时间、发送顺序、正确率等。就视频服务来说，QOS由多项约定俗成的技术指标构成，包括播放成功率、错误率、Re-buffer（卡顿）次数和时间、起始时间、快进响应时间、视频码率、延迟等。通行的QOS指标大致可分为两类：一类用于衡量用户可在多大概率上得到服务，如播放成功率和错误率；

流媒体技术需要解决的问题：1.允许客户端在不下载完整文件的时候即可以开始播放视频；2.允许客户端从完整内容的任何位置开始播放（不包括视频直播）；3.针对视频直播，允许客户端从任意时间开始观看频道内容；4.允许在客户的带宽条件和客户端的硬件条件下播放；5.提供相对平稳的传输速度，以便用户基本流畅地完成播放。并伴随两个衍生技术：1.支持CDN传输，以提供服务扩展能力和较好的用户访问质量。2.支持视频内容的加密，避免版权内容被人依靠复制传播牟利设计流媒体网络协议需要注意的问题：1、协议应对传输的音视频格式进行规约

文章目录基于发送端丢包补偿技术原理与媒体无关的前向差错纠正媒体相关前向差错纠正交织技术基于接受端丢包补偿技术基于插入方法基于插值方法基于重构的方法应用建议非交互式交互式拓展阅读参考丢包补偿技术可以分为两类：基于发送端补偿、基于接受端补偿基于发送端补偿：前向差错纠正、交织和重传技术基于接受端补偿：错误隐蔽算法基于发送端丢包补偿技术原理主动：主动重传被动：被动通道编码前向差错纠正技术(FEC)与媒体无关的方法利用音频属性的媒体相关方法基于交织的技术与媒体无关的前向差错纠.

文章目录前戏编解码技术流程主流视频编码标准视频传输面临的问题视频传输差错控制视频传输Qos质量保证参数人类视觉系统HVS 以及相应编码措施正餐编码层次与码流结构PB帧编码IBBP序列编码结构图像编码结构条带编码结构宏块编码结构块编码结构预测技术码率控制实例H264前戏编解码技术流程1、预测：去除空间冗余、时间冗余；分为帧内预测、帧间预测2、变换：从时域变换到频域，去除相邻数据之间的相关性，去除空间冗余，分为：DCT余弦变换、小波变换3、量化：去除视觉冗余，通过降低图像质量提高压缩比4.

RTCP是RTP的控制协议.那么RTCP能对RTP做哪些控制呢？其中最为大家熟知的就是丢包控制。发送端发送数据后，接收端如果发现有RTP包丢失了，可以使用RTCP的NACK报文通知发送方，告诉对方具体是哪些包丢失了，然后让发送方重发前面丢失的包。此外，接收端还可以使用RTCP的RR报文向发送端发送接收报告，报告中记录着从上一次报告到本次报告之间丢失了多少包、丢包率是多少、延时是多少等一系列信息。同理，发送端也可以向接收端发送SR报文，报告一段时间内一共发送了多少包等。RTCP支持的消息非常多，在此

纠错码和压缩算法是同一枚硬币的两面。两者都来自于对冗余的想法。 纠错码被视为向消息或文件中添加冗余的原则性方法。而压缩算法正好相反，他们会从消息或文件中移除冗余。压缩和纠错并不是彼此抵消的，相反，好的压缩算法会移除抵消冗余，而纠错编码会增加另一种更高效的冗余。因此首先压缩一条信息，再往里面添加一些纠错码的做法十分常见。 下面分别介绍两者的具体内容：纠错码trick如果使用正确的技巧，即使是极端不可靠的通信频道也可以以极低的错误率传输数据。1、重复技巧要确保一些信息被正确传输，你只需要重复几.

文章目录TCP为何不适用于实时音视频UDP->RTPRTP协议结构JittbufferRTP扩展头RTP填充数据参考TCP为何不适用于实时音视频可靠性是以牺牲实时性为代价的。按照TCP原理，当出现极端网络情况时，理论上每个包的时延可达到秒级以上，而且这种时延是不断叠加的。这对于音视频实时通信来说是不可接受的。TCP为了实现数据传输的可靠性，采用的是“发送→确认→丢包→重传”这样一套机制。而且为了增加网络的吞吐量，还采用了延迟确认和Nagle算法(将多个小包组成一个大包发送，组合包的大小不超过网络

先介绍下RTP协议：实时传输协议RTP（Real-time Transport Protocol）是一个网络传输协议 ，该协议详细说明了在互联网上传递音频和视频的标准数据包格式 。RTP标准定义了两个子协议 ，RTP和RTCP数据传输协议RTP，用于实时传输数据。该协议提供的信息包括：时间戳（用于同步）、序列号（用于丢包和重排序检测）、以及负载格式（用于说明数据的编码格式）。控制协议RTCP，用于QoS反馈和同步媒体流。相对于RTP来说，RTCP所占的带宽非常小，通常只有5%。TCP会通过超时和重

基本概念可伸缩视频编码 SVC（Scalable Video Coding） 作为 H.264 标准的一个扩展,可用于生成不同帧率、分辨率和质量等可分层的视频流。基本层编码最低层的时域、空域和质量流；增强层以基本层作为起始点，对附加信息进行补充，从而在解码过程中重构更高层的质量、分辨率和时域层。视频会议设备采用SVC技术来收发由一个小的基极层和多个可提高分辨率、帧速率和质量的其它可选层组成的多层视频流。这种分层方式可以大大提高误码弹性和视频质量，而且对带宽没有很高的要求。H.264 SVC 支持三

目录效果展示部分用户参与度部分技术细节机械装置以及硬件配置。视频系统照明人脸跟踪压缩和传输图像渲染音频系统step1：捕获音频step2：音频去噪处理step3：压缩、传输、解压step4：渲染可以改进的点效果展示部分 〔映维网〕谷歌光场显示屏Project Starline Starline 本质上是一个 3D 视频聊天室，旨在取代一对一的 2D 视频电话会议，让用户感觉就像坐在真人