tianyu的专栏 - Linux site:blog.youkuaiyun.com/wishfly

1. 深入浅出理解视频编码H264结构https://blog.youkuaiyun.com/dxpqxb/article/details/779893382. H264视频码流格式浅析https://blog.youkuaiyun.com/H514434485/article/details/520649453.使用FFMPEG类库分离出多媒体文件中的H.264码流https://blog.csdn...

这段时间在捣腾基于 RTMP 协议的流媒体直播框架，其间参考了众多博主的文章，剩下一些细节问题自行琢磨也算摸索出个门道，现将自己认为比较恼人的 AAC 音频帧的推送和解析、H264 码流的推送和解析以及网上没说清楚的地方分享给各位。        RTMP 协议栈的实现，Bill 直接使用的 libRTMP，关于 libRTMP 的编译、基本使用方法，以及简单的流媒体直播框架，请参见博文[

RTMP推送的音视频流的封装形式和FLV格式相似，由此可知，向FMS推送H264和AAC直播流，需要首先发送"AVC sequence header"和"AAC sequence header"，这两项数据包含的是重要的编码信息，没有它们，解码器将无法解码。　　AVC sequence header就是AVCDecoderConfigurationRecord结构，该结构在标准文档“ISO

写在前面：RTP的解析，网上找了很多资料，但是都不全，所以我力图整理出一个比较全面的解析，其中借鉴了很多文章，我都列在了文章最后，在此表示感谢。互联网的发展离不开大家的无私奉献，我决定从我做起，希望大家支持。原创不易，转载请附上链接，谢谢http://blog.youkuaiyun.com/chen495810242/article/details/39207305

文章部分借用网上搜索到的资料网络抽象层单元类型 (NALU):NALU头由一个字节组成,它的语法如下:      +---------------+      |0|1|2|3|4|5|6|7|      +-+-+-+-+-+-+-+-+      |F|NRI|  Type   |      +---------------+F: 1

1. 引言     H.264/AVC 是ITU-T 视频编码专家组（VCEG）和ISO/IEC 动态图像专家组（MPEG ）联合组成的联合视频组（JVT）共同努力制订的新一代视频编码标准，它最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264 的压缩比是MPEG-2 的2 倍以上,是 MPEG-4的1.5～2 倍。同时，采用视频编码层（VCL）和网络提取层（NAL ）的

学了264有将近3个月有余，好多时候都在学习老毕的书和反复看JM86的代码，最近才找到264分析两大利器：264VISA和Elecard StreamEye Tools。不由得感叹，恨不逢同时。      简单的说下这两个软件：     264visa        强力的h264实时分析工具 ，能分析各种场合下的h264资源，适用于h264开发者，学习者。在图像分析上，V

H264视频编码层次结构

h.264裸码流的格式，参考“H.264-AVC-ISO_IEC_14496-10.pdf, page 211.”，这个文档的下载地址：https://github.com/winlinvip/simple-rtmp-server/tree/develop/trunk/doc/H.264-AVC-ISO_IEC_14496-10.pdf一个录制的h.264裸码流文件：http://winl

作者：Rio链接：https://www.zhihu.com/question/19582072/answer/12339498来源：知乎著作权归作者所有，转载请联系作者获得授权。先弄清一下基本概念：我们平常笼统说的「视频格式」其实包含三个部分：视频编码、音频编码、容器格式。其中「编码」这个概念其实又包含两个方面：编码和解码。「视频编码」作为动词指的是将动态的图像信息转

作者：Meng Xu链接：https://www.zhihu.com/question/20193541/answer/41951103来源：知乎著作权归作者所有，转载请联系作者获得授权。近年来VCEG和MPEG联合成立了一个组织，叫JCT-VC（Joint Collaborative Team on Video Coding），进行H.265 HEVC的研发。标准的最

H264码流解析这是一段H264码流,00 00 00 01这是对应forbidden_zero_bit的f(1),接着后面的nal_ref_idc的u(2),这个怎么解呀,有点晕.刚接触不久,nal_unit_type的u(5),后面的profile_idc的u(8)指的是那几个,是多少?nal_ref_idc的u(2)对应67变成前两位0 1也就是1,nal_unit_type取64接

对同一视频序列采用了不同的信源编码参数压缩所得的两个码流 -- 切换

https://github.com/stsquad/mpeg4ip

作者：张晖链接：https://www.zhihu.com/question/27005982/answer/34945817来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。谢邀。在你目前列举出来的课程中，都将在你的编解码生涯中派上用场，有的在你入门时就会用到，有的在你进阶时才会用到，比如你哪天研究在硬件上做视音频开发的话就要用到数电模电了。还

对H.264编码标准一直停留在理解原理的基础上，对于一个实际投入使用的编码器是如何构建起来一直感觉很神秘，于是决定在理解理论的基础上潜心于编码器实现框架。关于开源的H264编码器有很多，JMVC，T264、X264，这里选择X264，因为网上关于X264源码分析资源很多。X264编码器是一个开源的经过优化的高性能H.264编码器，目前最新的源码在本人的I5处理器的PC机上，编码1920x1080分

http://www.360doc.com/content/16/1013/17/474846_598171645.shtml

在使用FFMPEG的类库进行编程的过程中，可以直接输出解复用之后的的视频数据码流。只需要在每次调用av_read_frame()之后将得到的视频的AVPacket存为本地文件即可。经试验，在分离MPEG2码流的时候，直接存储AVPacket即可。在分离H.264码流的时候，直接存储AVPacket后的文件可能是不能播放的。如果视音频复用格式是TS（MPEG2 Transpo

int attribute_align_arg avcodec_encode_video2(AVCodecContext *avctx,                                                AVPacket *avpkt,                                                const AVFrame *f

方法1：在x264示例中的保存方法：        i_frame_size = x264_encoder_encode( h, &nal, &i_nal, &pic, &pic_out );        if( i_frame_size             goto fail;        else if( i_frame_size )        {

1.H264裸流中不含有时间戳===============================================================================2.首先介绍转换函数：av_rescale_q_rnd(int64_t a, int64_t b, int64_t c, enumAVRounding rnd) 此函数主要用于对于不同时间戳的转换...

[cpp] view plain copy#include   #include   #include   #include     typedef  unsigned int UINT;  typedef  unsigned char BYTE;  typedef  unsigned long DWORD;    UINT Ue

前面的文章中介绍了《H264视频通过RTMP流直播》，下面将介绍一下如何将H264实时视频通过RTSP直播。      实现思路是将视频流发送给live555, 由live555来实现H264数据流直播。      视频采集模块通过FIFO队列将H264数据帧发送给live555. live555 在收到客户端的RTSP播放请求后，开始从FIFO中读取H264视频数据并通过RTSP

由于近来发现网上wireshark获取H264码流的方法都有点错误，为此研究了一下这种方法，最后发现还是可行的，能成功获取H264裸码流。借鉴的网页：https://wiki.wireshark.org/Lua                        http://www.lua.org/ 1.首先安装wireshark软件，这个用过的人都知道它的强大之处2.查看安装路径下是

1. 陈超：http://edu.youkuaiyun.com/course/detail/2918/48264?auto_start=1http://edu.youkuaiyun.com/course/detail/2314http://edu.youkuaiyun.com/search?keywords=%E9%99%88%E8%B6%85&type=02.殷文杰：http://edu.csdn.ne...

概述本文主要介绍WebRTC的架构和协议栈。最基本的三角形WebRTC架构为了便于理解，我们来看一个最基本的三角形WebRTC架构（见下图）： 在这个架构中，移动电话用“浏览器M”表示，笔记本电脑用“浏览器L”表示，通过Web服务器将它们连接起来。要建立一个实时媒体通讯，两台设备需要了解彼此的媒体功能，通过交换呼叫信令控制协议实现。诸如这样的信令协议

作者：武晓阳链接：https://www.zhihu.com/question/27005982/answer/51158064来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。在视频编解码领域从事工作几年，还没有仔细总结一路怎么走来。趁知友提的问题，再回头看看，稍有心得体会，希望对你有帮助。视频编解码所从事的工作大致分成3类：编解码算法研究、编

H264码率控制是由三个紧密联系的层次组成：1.GOP层次2.图像层次3.宏块组层次。

序：只大概说明要点。更具体的方法恕不祥叙。我的开源工程和很多开源项目都有详细完整的实现代码。这些要点都是我自己学习的总结，无责任保证正确性。仅做参考。如发现有问题请丢砖头，跪求各方高人指正错误。Orz内容：H264的ES原始数据一般是以NAL（Network Abstract Layer）的格式存在。可以直接用于文件存储和网络传输。每一个NALU(Network

一直在网上搜集各种资料，心累啊！下面由九把锁为你们阐述TS和H264之间不为人知的关系，还真是比较复杂。一、总的大致关系图这个我也不知道是在哪个优快云高手那弄来的图，帮了我很大的忙，上图时间到：二、如何由ES数据封装成PES数据1、如何提取一帧ES数据, 就是这么简单，So Easy...[cpp] view plain

I 帧和 IDR 帧的区别：    IDR 帧属于 I 帧。解码器收到 IDR frame  时，将所有的参考帧队列丢弃 （用x264_reference_reset 函数实现——在 encoder.c 文件中） 。这点是所有 I 帧共有的特性，但是收到 IDR 帧时，解码器另外需要做的工作就是：把所有的 PPS 和 SPS 参数进行更新。由此可见，在编码器端，每发一个 IDR ，就相

http://tieba.baidu.com/p/1915557967

一、基本概念1）ES     ES--Elementary  Streams  (原始流)是直接从编码器出来的数据流，可以是编码过的视频数据流（H.264,MJPEG等），音频数据流（AAC），或其他编码数据流的统称。ES流经过PES打包器之后，被转换成PES包。    ES是只包含一种内容的数据流，如只含视频或只含音频等，打包之后的PES也是只含一种性质的ES,如只含视频

M包括JM encoder和JM decoder, JM encoder是H.264标准的一个具体实现， JM decoder是对应的解码器. x264和JM encoder一样，都是H.264标准的实现，只是实现的方式不同而已. （H.264是一个标准，可以近似理解为协议或协定或约定或合同）       实际上, 在H.264标准中，并没有规定编码该怎么编，H.264只规定了编码形成的码

到底H.264好在哪？先让我们将MPEG-2、MPEG-4（MPEG-4 Part 2）、H.264（MPEG-4 AVC、MPEG-4 Part 10）三者进行分辨率表现与所用带宽的比较，无论MPEG-2、MPEG-4、H.264，三者都能达1920×1080i（非交错）的高清晰度（High Definition，HD）、24fps（每秒更新24张画面）的影像画质，但传输带宽上MPEG-2需要1

“MPEG-4由一系列的子标准组成，被称为部.................................第二部（ISO/IEC 14496-2）：视讯：定义了一个对各种视觉信息（包括视讯，静止纹理，计算机合成图形等等）的编解码器。对视讯部分来说，众多"Profiles"中很常用的一种是Advanced Simple Profile (ASP)，例如XviD编码就属于MPEG-4

YV12和I420的区别一般来说，直接采集到的视频数据是RGB24的格式，RGB24一帧的大小size＝width×heigth×3 Byte，RGB32的size＝width×heigth×4，如果是I420（即YUV标准格式4：2：0）的数据量是 size＝width×heigth×1.5 Byte。在采集到RGB24数据后，需要对这个格式的数据进行第一次压缩。即将图像的颜色空间由

设备能否兼容一个H264视频，主要跟这个视频5个参数相关：1、分辨率；2、帧数；3、Profile4、Level5、Ref frame前两个不需要解释了，后三个是编码时候的参数，越高说明编码越复杂，解码难度也越高。如果是软解流畅程度，还与其他参数有关，但是其他参数基本上只涉及软解时候的计算量大小，如果CPU太弱，只是卡顿而不是不能播放。码率，我只能说

H.264 ProfilesH.264有四种profile,每个profile支持一组特定的编码功能，并支持一类特定的应用,分别是BP、EP、MP、HP：1、BP-Baseline Profile：       a、I/P slices       b、Multiple reference frames (–refs , >1 in the x264 CLI)

iphone6 电影支持什么格式支持视频格式：H.264 视频，最高可达 1080p，60 fps，High Profile level 4.2 和 AAC-LC 音频，最高可达 160 Kbps，48kHz，立体声音频，文件格式为 .m4v、.mp4 和 .mov；MPEG-4 视频，最高可达 2.5 Mbps，640 x 480 像素，30 fps，Simple P