Lce的专栏

还有一点注意的，对于 IDR 帧来说，在 IDR 帧之后的所有帧都不能引用任何 IDR 帧之前的帧的内容，与此相反，对于普通的 I 帧来说，位于其之后的 B- 和 P- 帧可以引用位于普通 I- 帧之前的 I- 帧。B帧记录的是本帧与前后帧的差别（具体比较复杂，有4种情况），换言之，要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。P帧表示的是这一帧跟之前的一个关键帧（或P帧）的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。

ippiYCbCr420ToBGR_709CSC_8u_P3C3R: 将图像从YCbCr420空间转换BGR空间,ITU-RBT.709 CSC信号。ippiBGRToYCrCb420_709CSC_8u_AC4P3R: 将图像从YCbCr空间转换BGR空间,ITU-RBT.709 CSC信号。ippiYCbCrToBGR_709CSC_8u_P3C3R: 将图像从YCbCr空间转换BGR空间,ITU-RBT.709 CSC信号。

超分辨率(Super-Resolution)通过硬件或软件方法提高原有图像的分辨率，通过一幅或者多幅低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建，可以通过人工智能深度学习将低分辨率视频重建成高分辨率视频模糊图像、视频瞬间变高清，为移动端为用户带来极致视频体验。广义的超分辨率 (SR, Super Resolution) 是指一类用于提升图像分辨率的技术。这类技术已经存在了很长一段时间，应用也非常广泛。

如图 2.2是生成器大致的工作流程。另外，生成器本身不负责编码后的数据的最终去向，而是把这个任务交给了一种叫接收器（Sink）的对象，比如交给文件接收器就可以将数据保存为文件，交给网络接收器就可以将数据进行广播，交给推接收器就可以将数据分发到运行Windows Media Services的服务器上等等。Microsoft公司提供了Windows Media Format SDK，以支持以下三大功能：ASF文件的生成（包括ASF数据的流化）、ASF文件的编辑和ASF文件的播放（包括ASF媒体流的播放）。

标准的读写接口包括 snd_pcm_writei() / snd_pcm_readi() 和 snd_pcm_writen() / snd_pcm_readn()。PulseAudio 主页。PulseAudio 创建的一些概念和抽象的语义，如 pa_context，pa_stream，pa_iochannel，pa_pstream，pa_srbchannel，pa_sink，pa_sink_input，pa_source，pa_source_output，pa_module 和 pa_card 等等等。

source device：source可以理解为源泉，表示声音的源，即声音产生的地方。那么就可以理解为声音从source device流出，流到sink device里面。sink device：sink可以理解为水槽，表示声音的接受一方。

Windows Vista 之后的系统中，音频系统相比之前的系统有很大的变化，产生了一套新的底层 API 即 Core Audio APIs。该低层 API 为高层 API【如 Media Foundation（将要取代DirectShow 等高层 API）等 】 提供服务。该系统API具有低延迟、高可靠性、安全性等特点。本文主要从实时音视频场景中，简单介绍该API的使用。Core Audio APIs 的组成：MMDevice、EndpointVolume、WASAPI等。...

Opus是一种开源免费的音频编解码器，支持音乐和语音，具有低延时、带内FEC、DTX、PLC等特点，默认22.5ms延时，非常适用网络实时传输。。Opus协议收录于，使用SILK和CELT两种编码。

在媒体通道中WebRTC使用SRTP来进行数据的加解密，DTLS的作用仅仅是用来做密钥交换，RTP/RTCP的数据为了与历史设备兼容性的考虑，完全通过SRTP来实现。下图为WebRTC媒体通过建立过程的简单描述，可以看出DTLS在整个协商过程中与其他流程的时序关系。在Datachannel数据通道中，WebRTC完全使用DTLS来进行协商和加解密。MediaChannel媒体通道。Datachannel数据通道。WebRTC中DTLS参数。...

虽然主要是讲解的如果处理I420格式，但是前面介绍了几种不同YUV的存储格式。可以结合存储示意图，类推出如何处理其它YUV格式数据。httpshttpshttpshttpshttpshttps。

YUV420数据的存储方式有两类planar和packed。planar的YUV格式，先连续存储所有像素点的Y，紧接着存储所有像素点的U，随后是所有像素点的V。对于packed的YUV格式，每个像素点的Y,U,V是连续交*存储的。本文记录一个对于planar的YUV420格式，大小为720P的RAW图像，读取指定区域的数据，并保存为一个新的YUV420格式RAW。...

问题背景：凡是和流媒体和音视频打交道，时间戳基本是一个必须深刻理解的概念。你会在各种各样的传输协议和封装格式中看到这个东西，而且表现形式还不一样。其次这个概念会涉及到音视频播放的同步问题，也会影响音视频播放的控制问题。前者说的是音画同步，后者说的是类似快进，随机点播放等。如果要理解好这个概念，需要掌握下面几个名词的含义。基本概念：采样率音视频现在采用的数字编码方法，简单说就是把音视频这种波形和图像进行采集，量化，编码，传输，解码。所以采样率就是每秒钟抽取图像或者声波幅度样本的次数。比如音频采样率8k,就是表

图解分析音视频同步要分别保证开始的PTS一样，PTS是控制帧的显示时间的，所以要实现音视频同步必须分别设置音视频的PTS。注：音、视频最后一帧的PTS时刻不一定相同。1. 视频时间戳计算2. 音频时间戳...

音频aac、mp3文档规定：AAC：帧大小1024个sample，采样率为44100Hz ,帧播放时长：acc dur=1024/44100 = 0.02322s=23.22msMP3：帧大小1152个sample，采样率为44100Hz ,帧播放时长: mp3 dur=1152/44100 = 0.02608s=26.08mspcm：假设音频采样率 = 8000，采样通道 = 2，位深度 = 8，采样间隔 = 20ms首先我们计算一秒钟总的数据量，采样间隔采用20ms的话，说明每秒钟需采集50次(1s=

YUV格式解析

目录前言LicodeJanus-gatewayMediasoupMedooze前言已知的多方通信框架有：Mesh MCU SFU 三种。《三种方案的详细介绍》其中SFU是目前最优的一种多方通信架构方案，而且这种方案目前已经有比较流行的开源项目：Licode Janus-gateway Mediasoup Medooze。下面简单的对这4种方案进行分析：LicodeLicode 既可以用作 SFU 类型的流媒体服务器，也可以用作 MCU 类型的流媒体服务器。一般..

1.、什么是 H264？H264 是 MPEG-4 标准所定义的最新编码格式，同时也是技术含量最高、代表最新技术水平的视频编码格式之一，标准写法应该是H.264H264 视频格式是经过有损压缩的，但在技术上尽可能做的降低存储体积下获得较好图像质量和低带宽图像快速传输。2、一些相关名词解释下图为 H264 码流分层图2.1、VCL & NALH264 原始码流是由一个接一个 NALU（NAL Unit） 组成，它的功能分为两层，VCL（Video Coding Layer）视频编码

GOP（Group of Pictures）策略影响编码质量：所谓GOP，意思是画面组，一个GOP就是一组连续的画面。MPEG编码将画面（即帧）分为I、P、B三种，I是内部编码帧，P是前向预测帧，B是双向内插帧。简单地讲，I帧是一个完整的画面，而P帧和B帧记录的是相对于I帧的变化。没有I帧，P帧和B帧就无法解码，这就是MPEG格式难以精确剪辑的原因，也是我们之所以要微调头和尾的原因。GOP 越长，B 帧所占比例更高，编码的率失真性能越高。In Video coding, a group of pict

在现实生活中，音频（audio）主要用在两大场景中：语音（voice）和音乐（music）。语音主要用于沟通通信，如打电话，现在由于语音识别的发展，人机语音交互也是语音的一个应用，目前正在风口上，好多大厂都推出了智能音箱。音乐主要用于欣赏，如音乐播放。下面简单介绍音频的基础知识：采样和采样频率：现在是数字时代，在音频处理时要先把音频的模拟信号变成数字信号，这叫A/D转换。要把音频的模拟信号变成数字信号，就需要采样，或者叫抽样。当要把音频播放出来时则需要把数字信号转换成模拟信号，这叫D/A转换。一

1、RTP协议简介RTP(Real-timeTransport Protocol)，由 IETF（http://www.ietf.org/）定义在 RFC 3550和3551中。被定义为传输音频、视频、模拟数据等实时数据的传输协议，与传统的注重的高可靠的数据传输的运输层协议相比，它更加侧重的数据传输的实时性，此协议提供的服务包括数据顺序号、时间标记、传输控制等。RTP位于传输层

摘  要   流媒体文件格式在流媒体系统中占有重要地位，设计合理的文件格式是提高流媒体服务器工作效率最直接和最有效的办法。该文在剖析常用流媒体系统和文件格式的基础上，特别地对美国xiph.org基金会的开源流媒体工程Ogg文件格式子项目做了深入的分析，指出Ogg格式对媒体编码数据的存储读取和传输具有简洁性，Ogg格式的映射与逆映射与媒体编码数据具有相对独立性，能够有效提高流媒体服务器的工作效率。

H264的RTP负载打包的数据包格式,分组,分片 1.    RTP数据包格式RTP报文头格式（见RFC3550 Page12）：    0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 12 3 4 5 6 7 8 9 0 1  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

Mediastream2 用法介绍及简明实例分析 linphone是一个轻量级voip客户端，linphone的架构设计十分的清晰，其底层音视频引擎mediastream2是一个独立的模块，基于它可以很容易的实现各种音视频的应用。linphone 整体架构介绍http://www.linphone.org/eng/documentation/dev/linphone拥有自己的用户接口和核心引擎(

1.SDP协议概述SDP（Session Description Protocol）是一个用来描述多媒体会话的应用层控制协议，为会话通知、会话邀请和其它形式的多媒体会话初始化等目的提供了多媒体会话描述；它是一个基于文本的协议，这样就能保证协议的可扩展性比较强，这样就使其具有广泛的应用范围；SDP 完全是一种会话描述格式 ― 它不属于传输协议 ― 它只使用不同的适当的传输协议，包括会