影音视频技术

转自： http://blog.sina.com.cn/s/blog_5fd6a0e50100dn0k.html1、http://www.tkn.tu-berlin.de/research/vid/（此网站已经移走，正在寻找。）   CIF： Akiyo、Bridge (far) 、Bridge (close) 、Bus 、Container 、Coastguard 、

backEncoding Smooth Streaming videosEncoding multi bit rate H264 video with X264Deploying and generating the manifestSmooth Streaming and B-FramesNextEncoding mul

Ffmpeg/x264 (profile High, level 3.0) (latest versions of x264)We have successfully been using ffmpeg/libx264 with two pass encoding using the following commands: infile ="video.avi" tmpfile=

H.264码流第一个 NALU 是 SPS（序列参数集Sequence Parameter Set）对应H264标准文档 7.3.2.1 序列参数集的语法进行解析SPS参数解析// fill sps with content of pview plainint InterpretSPS (VideoParameters *p_Vid, DataPartition *p, seq_par

I帧:帧内编码帧I帧特点:1.它是一个全帧压缩编码帧。它将全帧图像信息进行JPEG压缩编码及传输;2.解码时仅用I帧的数据就可重构完整图像;3.I帧描述了图像背景和运动主体的详情;4.I帧不需要参考其他画面而生成;5.I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);6.I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;7.I帧不需要考虑运动

有这样一种需求，给你一个h264原始数据文件，让你直接播放出来，如何实现？思路是这样的，H264原始数据格式都是 0x00000001后面跟0x67 0x68 0x65 0x41这样的数据，解码需要一个完整的NAL数据单元，我们需要将每个0x00000001以及下一个0x00000001之前的数据读出来，交给解码器解码。读文件我就不啰嗦了，本文主要讲解如何从SPS获取视频长宽，SPS即0x

首先，还是要弄清楚编解码的流程和 H.264 的关键技术，看白皮书就知道了，另外 H.264 综述类的文章和别人的学位论文一般也会讲到；其次其次，弄清楚代码的各个函数实现的功能，这个可以看看 JM 代码里各个函数前面的函数说明；最后最后，弄清楚标准各个章节讲的什么内容：这里只说重要的。第三章是名词解释，第四章是缩略语，第五章是一些计算方式和运算符号的说明，第六章是与 H.264 相关的一些

H264—MP4格式及在MP4文件中提取H264的SPS、PPS及码流SkySeraph Apr 1st 2012 Email：skyseraph00@163.com 一、MP4格式基本概念MP4格式对应标准MPEG-4标准(ISO/IEC14496) 二、MP4封装格式核心概念1  MP4封装格式对应标准为 ISO/IEC 1449

H.264码流格式SODB: String Of Data Bits 原始数据比特流, 熵编码输出结果, 以bit为单位。RBSP: Raw Byte Sequence Payload 原始字节序列负载, 在SODB最后加上trailing bits补齐为一个字节EBSP: Extent Byte Sequence Payload 扩展字节序列负载, RBSP里面加入防伪起始码字节

这段时间一直在进行编写H264文件的解析类，因此对于H264文件的格式有了初步的了解，官方文档也看了个大概。这篇文章主要是总结了一些为解码H264文件而需要的一些前期知识，话不多说，下面是干货，有些是自己在wiki上翻译过来的，有些是看官方文档后发现的一些关键部分。 首先了解一下视频文件中的一些知识：Video compression picture types（视频压缩图

一、MP4格式基本概念MP4格式对应标准MPEG-4标准(ISO/IEC14496) 二、MP4封装格式核心概念1  MP4封装格式对应标准为 ISO/IEC 14496-12（信息技术 视听对象编码的第12部分: ISO 基本媒体文件格式/Information technology Coding of audio-visual objects Part 12

1、NAL全称Network Abstract Layer, 即网络抽象层。         在H.264/AVC视频编码标准中，整个系统框架被分为了两个层面：视频编码层面（VCL）和网络抽象层面（NAL）。其中，前者负责有效表示视频数据的内容，而后者则负责格式化数据并提供头信息，以保证数据适合各种信道和存储介质上的传输。因此我们平时的每帧数据就是一个NAL单元（SPS与PPS除外）。在实际的

1.    H.264与H.265的主要差异H.265仍然采用混合编解码，编解码结构域H.264基本一致，主要的不同在于：?  编码块划分结构：采用CU (CodingUnit)、PU(PredictionUnit)和TU(TransformUnit)的递归结构。?  基本细节：各功能块的内部细节有很多差异?  并行工具：增加了Tile以及WPP等并行工具集以提高编码速度?

【编者按】Android 视频相关的开发，大概一直是整个 Android 生态、以及 Android API 中，最为分裂以及兼容性问题最为突出的一部分，本文从视频编码器的选择和如何对摄像头输出的 YUV 帧进行快速预处理两方面，从实践角度解析笔者曾趟过 Android 视频编码的那些坑，希望对广大读者有所助益。http://blog.youkuaiyun.com/byeweiyang/article/det

文/许建林在实时多媒体领域，实时视觉、感知的展现将会有更加广泛的发展空间，而对于实时视频传输的基础核心技术莫过于 H.264 编码标准。本文作者尝试解答 H.264 编解码最核心的两个问题，其一是 H.264 编解码的过程；其二是 H.264 码流的结构，希望能帮助正在研究这方面的大家提供一些帮助。我在今年年初离开 YOLO 加入了一家在流媒体领域具有极深积累的小公司，负责

DependenciesFor more information on downloading and installing Nginx, please read the official ​getting started instructions.We will be using version 0.7.9 of Nginx.cd ~wget http://www.ng

Apple产品系列中，使用HLS实现直播，HLS可以简单理解为HTTP+M3U8+TS。一、问题引出最近遇到一个问题，MP4文件转成TS后，在Apple上播放会有帧错乱现象（前后帧显示时来回跳），但在Windows下的播放器如VLC显示都没有问题。二、初探小武同学根据十几年的经验判断，第一感觉认为是DTS或PTS错乱导致，但通过分析后发现DTS和PTS显示正常。

OS:CentOS6.4-64bit--------编译 FFMPEG with h265--------1.安装 hg tool#yum install hg2.下载 x265 source code 并 make#hg clone https://bitbucket.org/multicoreware/x265#cd x265/build/lin

在2010年，ITU-T VCEG和ISO/IEC MPEG共同立项了联合项目HEVC(High Efficiency Video Coding)，开始研究和制定下一代视频压缩标准，将主要目标定义在1080P分辨率上，相比 当前主流的视频压缩算法提高一倍左右的压缩比，并提供更高分辨率的有效支持。这一标准，也被视为目前安防行业普遍应用的H.264/AVC算法的继任者H.265。2013年初，HEVC

最近在研究视频的播放的快进快退功能，先把相关的调研结果整理一下，做个记录。裸的H264码流，如果实现快进快退必须基于 I 帧才能实现：在播放前对整个码流进行统计，总共有多少帧，所有的 I 帧在什么位置。在播放的时候，再根据用户快进或快退的位置判断相邻最近的 I 帧在什么位置，然后从那一个 I 帧开始解码播放。H.264 要准确确定 I 帧比较麻烦。一个相对有效的方法是：对 slice

一 H.264句法1.1元素分层结构H.264编码器输出的Bit流中，每个Bit都隶属于某个句法元素。句法元素被组织成有层次的结构，分别描述各个层次的信息。  图1H.264分层结构由五层组成，分别是序列参数集、图像参数集、片（Slice）、和宏块和子块。参数集是一个独立的数据单位，不依赖于参数集外的其它句法元素。图2描述了参数集与参数集外的句法元素之间的关系。 

2.4片层句法1片层句法（不分区）句法CDescslice_layer_without_partitioning_rbsp(){      slice_header()2     slice_data() /* all categories o

一视频相关概念1.1视频时间连续的图像序列称为视频。1.2相关性图像本身具有的自己特性，图像与图像之间具有一定的关联性。时间相关性：一幅图像中的大部分元素都同样存在于其相邻的图像（前后）之中。空间相关性：一幅图像中相邻像素之间具有相关性。统计相关性：图像在保存的过程中，通过不同的统计方法，可以得到比原始数据较少的数据。1.3 YUV图像格

H. 264/ AVC 是新一代视频编解码标准，提供了诸多以往视频算法所没有的新特性，以提高编码效率。这些新特性包括：● 　利用临近块的边界像素的Intra 空间预测，提供16 × 16、8 × 8、4 × 4 预测模式。● 　多参考帧的运动补偿。比起以前的视频编码标准，H. 264/ AVC 以更灵活的方式使用更多的重建帧作为参考帧。在某些情况下，可以使用最多32 个参考帧（在以

H. 264 是联合视频组JVT 开发的一个新的数字视频编码标准，它既是ITU- T 的H. 264 算法，又是ISO/ IEC 的MPEG- 4 的第10 部分。1998 年1 月份开始征集H. 264 算法草案，1999 年9 月完成第一个草案，2001 年5 月制定了其测试模式TML- 8，2002 年6 月JVT 第5 次会议通过了H. 264 的FCD 版，2003 年5 月，ITU 正

H264规定了三种主要档次，每个档次支持一组特定的编码功能，并支持一类特定的应用。 1、基本档次（Baseline Profile）：利用I片和P片支持帧内和帧间编码，支持利用基于上下文的自适应的变长编码进行的熵编码（CAVLC）。主要用于可视电话、会议电视、无线通信等实时视频通信。2、主要档次（Main Profile）：支持隔行视频，采用B片的帧间编码和采用加权预测的帧

1、预测编码           压缩算法的本质就是去除信号间的冗余，什么是信号的冗余呢？信号之间的相关性就是冗余，人类听觉或视觉系统感觉不到的或者掩蔽的也可以当做冗余成分。今天谈谈预测编码的概念，这是一种非常直观和简单易行的方法。说它直观，以图像为例，前后两帧或者同一图像的相邻像素都存在着相似性、相关性，我们完全可以通过当前帧和一组预测系数，推测出下一帧图像，当然也可以从当前像素推测出周

H.264 is taking the web video world by storm. This relatively new technology is as intriguing as it is mystifying. As a person who didn’t have the patience to understand all the intricacies of how thi

阅读完H264/AVC 编解码器的介绍，脑海中只是留下以下三条：1、H264并没有明确规定一个编解码器如何实现，只是规定了一个编码后的视频比特流的句法，和该比特流的解码方法，这个与MPEG 相似。2、H264和以前的标准（如H261、H263、MPEG-1、MPEG-4）的编解码器实现流程没有太大区别，主要的不同在于各功能块的细节。3、H264就是利用实现的复杂性获得压缩性

视频压缩中，每帧代表一幅静止的图像。而在实际压缩时，会采取各种算法减少数据的容量，其中IPB就是最常见的。  简单地说，I帧是关键帧，属于帧内压缩。就是和AVI的压缩是一样的。 P是向前搜索的意思。B是双向搜索。他们都是基于I帧来压缩数据。  I帧表示关键帧，你可以理解为这一帧画面的完整保留；解码时只需要本帧数据就可以完成（因为包含完整画面）P帧

1、宏块（Macro Block）：一个编码图像首先要划分成多个块（4x4 像素）才能进行处理，显然宏块应该是整数个块组成，通常宏块大小为16x16个像素。宏块分为I、P、B宏块，I宏块只能利用当前片中已解码的像素作为参考进行帧内预测；P宏块可以利用前面已解码的图像作为参考图像进行帧内预测；B宏块则是利用前后向的参考图形进行帧内预测；以下是宏块的句法单元，来自参考文献22、

Silverlight PlayerSmooth Streaming is supported by the ​Open Video Player Initiative.Playing Smooth Streaming videosVideo: VC-1 Audio: WmaPro (Multi Bit Rate)When your video is encod

目前下一代主流的视频编码标准有 ITU-T VCEG 推出来的 H.265 和 Google 推出 VP9 。H.265 在 H.264 的基础上保留其中的部分技术，并对相关技术加以改进研发而成。新技术主要通过提升压缩效率、鲁棒性，提高错误恢复能力，减少实时时延、减少信道获取时间等方面，让视频编码达到效率更高。同时 H.265 可以实现利用 1~2Mbps 传输速度传送 720P 普通高清