视频播放原理简介

原创 已于 2023-03-13 10:29:33 修改 · 4.8k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#播放器

于 2018-02-01 09:17:16 首次发布

参考自：[总结]视音频编解码技术零基础学习方法

1、视频播放器原理

视频播放器播放一个互联网上的视频文件，需要经过以下几个步骤：解协议，解封装，解码视音频，视音频同步。如果播放本地文件则不需要解协议，分为以下几个步骤：解封装，解码视音频，视音频同步。它们的过程如图所示。

视频播放器原理

  • 协议层（Protocol Layer）：该层处理的数据为符合特定流媒体协议规范的数据，例如http，rtmp，file等。
  • 封装格式层（Format Layer）：该层处理的数据为符合特定封装格式规范的数据，例如mkv，mp4，flv，mpegts，avi等。
  • 编解码层（Codec Layer）：该层处理的数据为符合特定编码标准规范的数据，例如h264，h265，mpeg2，mpeg4等。
  • 像素层（Pixel Layer）：该层处理的数据为符合特定像素格式规范的数据，例如yuv420p，yuv422p，yuv444p，rgb24等。

解协议的作用，就是将流媒体协议的数据，解析为标准的相应的封装格式数据。视音频在网络上传播的时候，常常采用各种流媒体协议，例如HTTP，RTMP，或是MMS等等。这些协议在传输视音频数据的同时，也会传输一些信令数据。这些信令数据包括对播放的控制（播放，暂停，停止），或者对网络状态的描述等。解协议的过程中会去除掉信令数据而只保留视音频数据。例如，采用RTMP协议传输的数据，经过解协议操作后，输出FLV格式的数据。

解封装的作用，就是将输入的封装格式的数据，分离成为音频流压缩编码数据和视频流压缩编码数据。封装格式种类很多，例如MP4，MKV，RMVB，TS，FLV，AVI等等，它的作用就是将已经压缩编码的视频数据和音频数据按照一定的格式放到一起。例如，FLV格式的数据，经过解封装操作后，输出H.264编码的视频码流和AAC编码的音频码流。

解码的作用，就是将视频/音频压缩编码数据，解码成为非压缩的视频/音频原始数据。音频的压缩编码标准包含AAC，MP3，AC-3等等，视频的压缩编码标准则包含H.264，MPEG2，VC-1等等。解码是整个系统中最重要也是最复杂的一个环节。通过解码，压缩编码的视频数据输出成为非压缩的颜色数据，例如YUV420P，RGB等等；压缩编码的音频数据输出成为非压缩的音频抽样数据，例如PCM数据。

视音频同步的作用，就是根据解封装模块处理过程中获取到的参数信息，同步解码出来的视频和音频数据，并将视频音频数据送至系统的显卡和声卡播放出来。

2、流媒体协议

流媒体协议是服务器与客户端之间通信遵循的规定。当前网络上主要的流媒体协议如表所示。

主要流媒体协议一览

名称推出机构传输层协议客户端目前使用领域
RTSP+RTPIETFTCP+UDPVLC, WMPIPTV
RTMPAdobe Inc.TCPFlash互联网直播
RTMFPAdobe Inc.UDPFlash互联网直播
MMSMicrosoft Inc.TCP/UDPWMP互联网直播+点播
HTTPWWW+IETFTCPFlash互联网点播

RTSP+RTP经常用于IPTV领域。因为其采用UDP传输视音频，支持组播，效率较高。但其缺点是网络不好的情况下可能会丢包，影响视频观看质量。因而围绕IPTV的视频质量的研究还是挺多的。

因为互联网网络环境的不稳定性，RTSP+RTP较少用于互联网视音频传输。互联网视频服务通常采用TCP作为其流媒体的传输层协议，因而像RTMP，MMS，HTTP这类的协议广泛用于互联网视音频服务之中。这类协议不会发生丢包，因而保证了视频的质量，但是传输的效率会相对低一些。

此外RTMFP是一种比较新的流媒体协议，特点是支持P2P。

3、封装格式

封装格式的主要作用是把视频码流和音频码流按照一定的格式存储在一个文件中。现如今流行的封装格式如下表所示：

主要封装格式一览

名称推出机构流媒体支持的视频编码支持的音频编码目前使用领域
AVIMicrosoft Inc.不支持几乎所有格式几乎所有格式BT下载影视
MP4MPEG支持MPEG-2, MPEG-4, H.264, H.263等AAC, MPEG-1 Layers I, II, III, AC-3等互联网视频网站
TSMPEG支持MPEG-1, MPEG-2, MPEG-4, H.264MPEG-1 Layers I, II, III, AAC,IPTV，数字电视
FLVAdobe Inc.支持Sorenson, VP6, H.264MP3, ADPCM, Linear PCM, AAC等互联网视频网站
MKVCoreCodec Inc.支持几乎所有格式几乎所有格式互联网视频网站
RMVBReal Networks Inc.支持RealVideo 8, 9, 10AAC, Cook Codec, RealAudio LosslessBT下载影视

由表可见，除了AVI之外，其他封装格式都支持流媒体，即可以“边下边播”。有些格式更“万能”一些，支持的视音频编码标准多一些，比如MKV。而有些格式则支持的相对比较少，比如说RMVB。

封装格式分析工具：

Elecard Format Analyzer

4、视频编码

视频编码的主要作用是将视频像素数据（RGB，YUV等）压缩成为视频码流，从而降低视频的数据量。如果视频不经过压缩编码的话，体积通常是非常大的，一部电影可能就要上百G的空间。视频编码是视音频技术中最重要的技术之一。视频码流的数据量占了视音频总数据量的绝大部分。高效率的视频编码在同等的码率下，可以获得更高的视频质量。

主要视频编码一览

名称推出机构推出时间目前使用领域
HEVC(H.265)MPEG/ITU-T2013研发中
H.264MPEG/ITU-T2003各个领域
MPEG4MPEG2001不温不火
MPEG2MPEG1994数字电视
VP9Google2013研发中
VP8Google2008不普及
VC-1Microsoft Inc.2006微软平台

由表可见，有两种视频编码方案是最新推出的：VP9和HEVC。目前这两种方案都处于研发阶段，还没有到达实用的程度。当前使用最多的视频编码方案就是H.264。

同等码率的前提下，各种标准的视频质量如下所示：

HEVC > VP9 > H.264> VP8 > MPEG4 > H.263 > MPEG2

5、音频编码

音频编码的主要作用是将音频采样数据（PCM等）压缩成为音频码流，从而降低音频的数据量。音频编码也是互联网视音频技术中一个重要的技术。但是一般情况下音频的数据量要远小于视频的数据量，因而即使使用稍微落后的音频编码标准，而导致音频数据量有所增加，也不会对视音频的总数据量产生太大的影响。高效率的音频编码在同等的码率下，可以获得更高的音质。

主要音频编码一览

名称推出机构推出时间目前使用领域
AACMPEG1997各个领域（新）
AC-3Dolby Inc.1992电影
MP3MPEG1993各个领域（旧）
WMAMicrosoft Inc.1999微软平台

由表可见，近年来并未推出全新的音频编码方案，可见音频编码技术已经基本可以满足人们的需要。音频编码技术近期绝大部分的改动都是在MP3的继任者——AAC的基础上完成的。

在码率较低的情况下，不同编码方案的音频的音质排序为：

AAC+> MP3PRO > AAC > RealAudio > WMA > MP3

FFmpeg入门详解之20：视频编码原理简介
福优学苑@音视频+流媒体
09-21 830
IPB帧I帧：帧内编码帧(intra picture)，采用帧内压缩去掉空间冗余信息。P帧：前向预测编码帧(predictive-frame)，通过将图像序列中前面已经编码帧的时间冗余信息来压缩传输数据量的编码图像。参考前面的I帧或者P帧。B帧：双向预测内插编码帧(bi-directional interpolated prediction frame)，既考虑源图像序列前面的已编码帧，又顾及源图像序列后面的已编码帧之间的冗余信息，来压缩传输数据量的编码图像，也称为双向编码帧。
FFmpeg入门详解之22：视频播放原理
福优学苑@音视频+流媒体
09-21 780
解协议，解封装，解码视音频，视音频同步。注意：“文件”本身也是一种“协议”。解协议将流媒体协议的数据，解析为标准的相应的封装格式数据。视音频在网络上传播的时候，常常采用各种流媒体协议，例如HTTP，RTMP，或是MMS等等。这些协议在传输视音频数据的同时，也会传输一些信令数据。这些信令数据包括对播放的控制（播放，暂停，停止），或者对网络状态的描述等。解协议的过程中会去除掉信令数据而只保留视音频数据。例如，采用RTMP协议传输的数据，经过解协议操作后，输出FLV格式的数据。解封装。
视频播放的基本原理
清之我心的博客
04-28 1万+
    本文整理了两篇博客的内容：几乎所有的视频播放器，如VLC、MPlayer、Xine，包括DirectShow，在播放视频的原理和架构上都是非常相似的，理解这个对理解VLC的源码会有事半功倍的效果。    大致的来说，播放一个视频分为4个步骤：    1.  acess 访问，或者理解为接收、获取、得到    2. demux 解复用，就是把通常合在一起的音频和视频分离(还有可能的字幕)  ...
浏览器播放RTSP、RTMP等几种编码格式视频流
热门推荐
weixin_44989721的博客
12-27 1万+
项目需求，需要前端页面实时展示摄像头采集的视频，视频啊，之前一点没接触过，经过一番调研、尝试，不得不说，网上文章真的大同小异，踩过许多坑，整理如下。 一、科普一下 1.流程 2.常见视频流格式 ● RTMP（推流端、拉流端） ● RTSP（推流端） ● HLS（拉流端） ● FLV（拉流端） 3.FLV ● 原生video标签只支持Ogg、MPEG4、WebM三种格式 ● 默认需要安装flash插件才可以播放 ● bilibili开源flv.js插件可直接转码，vue项目直接使用 ○ 推流端视频编码必须是
视频流的简要学习
最新发布
weixin_53375623的博客
11-04 273
把 H.264 作为一个 avc1/avc3 轨道存进去，参数在 avcC box（含 SPS/PPS），按 sample/chunk 组织并带完整时间轴（PTS/DTS）、索引（moov）。配合的本质:在中间层把“RTSP 拉到的 RTP 媒体”和“WebRTC 的 SRTP + SDP/ICE 信令体系”对接起来，形成浏览器可解的实时流。1、采集与编码：摄像头/显卡/CPU 把原始帧编码成 H.264/H.265/AV1，音频多为 AAC/Opus。4、接收端：解封装/去包 → 解码 → 渲染；
视频流（自适应算法）
YIYIYIBURUXIN的博客
04-18 4891
读 2018年IEEE/ACM TON论文 LBP:Robust Rate Adaptation Algorithm for SVC Video Streaming Tip：思考问题的流程 1.视频流 视频流是指视频数据的传输，例如，它能够被作为一个稳定的和连续的流通过网络处理。因为流动，客户机浏览器或插件能够在整个文件被传输完成前显示多媒体数据。视频流技术基于 密钥技术，视频译码技术和可升级的视...
音视频格式区分
kunluo的博客
05-28 2733
1.     视频播放器原理 视频播放器播放一个互联网上的视频文件，需要经过以下几个步骤：解协议，解封装，解码视音频，视音频同步。如果播放本地文件则不需要解协议，为以下几个步骤：解封装，解码视音频，视音频同步。他们的过程如图所示。   解协议的作用，就是将流媒体协议的数据，解析为标准的相应的封装格式数据。视音频在网络上传播的时候，常常采用各种流媒体协议，例如HTTP，RT
视频编码原理简介
Skywind Inside
10-21 1302
要彻底理解视频编码原理，看书都是虚的，需要实际动手，实现一个简单的视频编码器：知识准备：基本图像处理知识，信号的时域和频域问题，熟练掌握傅立叶正反变换，一维、二维傅立叶变换，以及其变种，dct变换，快速dct变换。
FFmpeg入门详解之19：音视频封装原理简介
福优学苑@音视频+流媒体
09-21 1593
数据封装（baiData Encapsulation），笼统地讲，就是把业务数据映射到du某个封装协议zhi的净dao荷中，然后填充对应协议的包头，形成封装协议的数据包，并完成速率适配。解封装，就是封装的逆过程，拆解协议包，处理包头中的信息，取出净荷中的业务信息数据封装和解封装是一对逆过程。封装格式也称多媒体容器，它只是为多媒体编码提供了一个“外壳”，也就是将所有的处理好的视频、音频或字幕都包装到一个文件容器内呈现给观众，这个包装的过程就叫封装。
视频播放器的原理及设计流程
11-08
本文中主要讲述了视频播放器的设计原理和设计流程，仅供参考。
在线视频网站_视频播放的技术原理.zip
01-07
在线视频网站_视频播放的技术原理.zip m3u8 ts
视频的播放原理
小葵哥的博客
02-17 3117
1.视频播放器简介 2.FFmpeg播放原理 3.VLC视频播放原理 4.现代播放器架构
视频播放器的基本原理
qqhuxiao的专栏
07-05 4785
转载自 http://www.emsym.com/blog/?p=1352 ================================================================= 一、知识点   ES流(Elementary Stream): 也叫基本码流,包含视频、音频或数据的连续码流. PES流(Packet Elementary Stream
视频播放器实现技术（二）
L_yangliu的专栏
10-29 3387
播放器解决了视频播放的问题。通常来说，解决问题最好的办好就是大而化小，小而化无。因为整个播放过程是一个复杂的过程，所以播放器 也采用分而治之的办法。 简单来说，这个大问题可以分解为四个小问题。 1，数据接收;2，数据解析;3，数据解码;4，数据输出。 我会对mplayer和vlc这两个开源播放器的代码结构来说明这四个问题。 一，数据接收（access) 自然，我们不能无中生有，要处理数
视频播放器原理
qingkongyeyue的博客
09-07 877
参考http://blog.youkuaiyun.com/leixiaohua1020/article/details/18893769?locationNum=1 1、视音频技术 视音频技术主要包含以下几点：封装技术，视频压缩编码技术以及音频压缩编码技术。如果考虑到网络传输的话，还包括流媒体协议技术。 2、视频播放器播放文件的过程 （1）视频播放器播放一个互联网上的视频文件，需要经过以下几个步骤：解
树莓派原理简介
04-29
<think>好的，我需要回答用户关于树莓派工作原理和基本介绍的问题。首先，用户提供的引用内容中有四个引用，我需要从中提取有用的信息。引用1提到了树莓派使用Raspbian系统，适合初学者，但建议专业开发者使用Linux系统。引用2讨论了有屏幕和无屏幕使用树莓派的方法，包括远程连接的三种方式。引用3介绍了树莓派作为便宜的Linux电脑，用途广泛，如文字处理、媒体播放等。引用4涉及文件系统的块和inode结构，可能与存储管理有关。 用户的问题是树莓派的工作原理和基础介绍，所以需要整合这些信息。首先，基本介绍应包括树莓派是什么、硬件组成、操作系统和应用场景。工作原理部分需要解释其如何作为微型计算机工作，包括启动过程、输入输出处理、存储管理等。 需要确保回答结构清晰，分点说明。同时，按照用户的要求，使用中文，行内公式用$...$，独立公式用$$...$$，但可能这个问题中数学公式不多，不过如果有的话要注意格式。此外，生成相关问题，并在引用处添加标识。 需要注意引用中的内容，例如引用3提到树莓派是卡片式Linux电脑，价格35美元，用途广泛。引用4中的块和inode结构属于文件系统部分，可能在存储管理的工作原理中提到。引用2的远程连接方法可以作为使用场景的一部分。 需要将信息组织成逻辑连贯的段落，先介绍基本概念，再详细工作原理，最后应用场景。同时，生成的相关问题需要围绕树莓派的工作原理、使用方法和优化等方面。</think>### 树莓派工作原理及基础介绍 #### 一、基本介绍 树莓派（Raspberry Pi）是一款由英国树莓派基金会开发的**单板计算机**，旨在促进计算机科学教育。其核心特点包括： 1. **硬件组成** - 采用ARM架构处理器（如树莓派4B搭载Broadcom BCM2711，四核Cortex-A72 CPU）。 - 集成GPU（支持OpenGL ES 3.0）、内存（1GB-8GB可选）、USB接口、HDMI输出、GPIO引脚等。 - 通过MicroSD卡作为存储介质，加载操作系统和用户数据[^3][^4]。 2. **操作系统** - 默认支持基于Debian的Raspberry Pi OS（原Raspbian），兼容Linux发行版如Ubuntu、Arch Linux等。 - 支持运行Python、C/C++等编程语言，适合嵌入式开发和物联网（IoT）应用[^1][^3]。 3. **应用场景** - 教育领域：学习编程、电子电路设计。 - 工业控制：传感器数据采集、自动化控制。 - 家庭媒体中心：通过Kodi等软件播放高清视频。 #### 二、工作原理 树莓派作为微型计算机，其工作流程遵循冯·诺依曼体系结构： 1. **启动过程** - 通电后，**Bootloader**从MicroSD卡的特定分区加载内核和操作系统。 - 系统初始化完成后，用户可通过命令行或图形界面操作[^4]。 2. **输入输出处理** - 通过GPIO引脚连接外部设备（如传感器、LED灯），实现物理计算。 - 示例：控制LED闪烁的Python代码： ```python import RPi.GPIO as GPIO import time GPIO.setmode(GPIO.BCM) GPIO.setup(18, GPIO.OUT) while True: GPIO.output(18, True) time.sleep(1) GPIO.output(18, False) time.sleep(1) ``` 3. **存储管理** - 文件系统以“块”（Block）为单位读写数据（通常4KB/块），提升效率。 - **inode**结构体记录文件元数据（如权限、大小、存储位置）[^4]。 #### 三、典型使用方式 - **有屏幕模式**：连接显示器、键盘和电源，直接操作图形界面[^2]。 - **无屏幕模式**：通过SSH、VNC或XRDP远程访问，适合嵌入式部署[^2]。 --- ### 相关问题 1. 树莓派如何通过GPIO引脚实现与传感器的通信？ 2. 树莓派4B与早期型号（如3B）的主要性能差异是什么？ 3. 如何在树莓派上部署Web服务器？ 4. 树莓派的文件系统优化方法有哪些？
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值