深入浅出gstreamer开发

Gstreamer解决什么问题？

— 上层接口和应用方式的 相对稳定 与底层接口、平台环境的 多样化 。例如： codec 不同种类不同实现，音视频处理不同，硬件输入、输出、采集播放不同，芯片不同，操作系统不同。

— 通用组件不灵活与需求的多变。色彩空间转换、缩放、编解码等组件功能是单一的。通过对这些组件进行组合，就可以满足多变的需求。要想拥有模块性、可移植性和通用的功能，通常是以极高的复杂性为代价。

— 计算机系统的万能解决办法： 加一层！

— Gstreamer 媒体控制程序作为 中间件 ，它可以解析上层指令，并对底层进行控制。

Gstreamer基础

— 所有的 gstreamer 应用都是基于 gobject 的。

— 除了理解封装、继承、多态的模拟以外，理解 this 指针， vtable 的实现原理也很有帮助。

— 参照下图理解 gobject 对象。

深入浅出Gstreamer基础概念

— 是一个管道化多媒体框架。管道的属性 : 包含一系列不同功能的链接起来的元件以及元件之间的数据流动；管道的行为：包含一系列多媒体操作，如元件链接等。

— 一个元件，由时钟、衬垫、总线、状态等组成。

— 衬垫（ pad ）一个元件与外界通信的接口。

— 互相链接的元件构成一个箱柜 (BIN) 。 BIN 作为一个整体，本身也可被认为是一个元件。

— 管道 (pipeline) 是一个特殊的 bin ，是最高级别的 bin 。

— 每一个 pipeline 都有一个默认的总线，该总线会在一个 mainloop 里去检查消息，并触发相应你的 callback ，实现与应用程序的通信。 Bus 含一个队列，每次 post 一个消息就加到队列里，然后出发 maincontext 的 wakeup。 这样就完成了将消息路由到 maincontext 去了。因为 maincontext 等待的有这个 bus 队列。

— Caps 代表一个媒体文件的能力，通常包括该文件的 mime 类型和多媒体属性。

— bin 是一个装载元素集合的容器。管道是特殊的 bin 类型，允许执行其中的所有子元素。由于 bin 本身是元素子类（ subclass ），通常可以像控制元素一样控制 bin ，从而简化应用程序。比如，可以通过改变 bin 本身的状态改变 bin 中所有元素的状态。 bin 还可以转发来自 bin 中的子元素的总线（ bus ）消息（例如错误消息，标签消息和 EOS 消息）。

— 管道是顶级 bin 。将它的状态设置为暂停（ PAUSED ）或播放（ PLAYING ）时，则数据流启动，媒体处理开始。启动后，管道将在一个单独的线程中运行，直到被停止或数据流结束。 数据流动是以缓冲传递来实际工作的。 Buffer 可以看成是一种容器，里边含 data 和 events 。

— 事件是一种控制数据，能够在管道中上下流动。一般来说，上游的控制命令可能是真的在控制什么，来自下游的 events 可能大多数是些状态通知之类的

 

元件状态

— NULL ：默认状态，内部会释放单元的所有资源，其实就是初始状态。

— READY ：就绪状态，分配资源，打开设备。但是流不会打开，所以此时流信息都是零。如果之前打开了流，在这状态中将会被关闭，流信息都会被重设。

— PAUSED ：已经打开了流，但是暂时不处理它。这个时候可以去修改例如 seek 位置等流信息。时间轴停止

— PLAYING ：时间轴运行。设置为这个状态后，整个流程就开始启动了。内部会将消息发送从管道所在的线程转移到应用程序线程

抓住gstreamer核心

    Gstreamer Core，是gstreamer框架的骨干和核心。它提供的功能有：

(一)提供一些组件类型的基类的实现，以及这些组件之间的通信规则；

(二)提供给应用程序创建媒体实例的API，以及保证实例运行的各种机制API.

    Gstreamer  Core的本质是不在乎媒体文件是什么类型或什么格式的(media-agnostic)，因为它不关心媒体编解码等具体细节。可以认为它是一个最高级的管理者和组织者，它提供了一个流媒体程序框架或者叫做蓝图，下属人员可以通过领会它的旨意去具体开展工作；你也可以理解它为一个服务供应商，提供了一切多媒体应用程序可能需要的元件，开发人员可以利用它来去实现自己的专属程序。Gstreamer在初始化时只注册了核心元件，包括bin和pipeline，用户需要以此为基础，实现自己的多样化的多媒体管道程序。多媒体应用程序的实现，需要用户自己利用好gstreamer,然后实现自己的东东。

  插件如何管理

 

把握core/plugin的重要联系

 

— Core/ plugin 是不同的模块。他们的存在都是为特定的多媒体控制程序服务的。特定的 Plugin 主要由媒体控制开发者提供，而 core 是所有基于 gstreamer 程序的共同体。

— Core 里用到的每个 element 实际就是一个插件，在 gst 中得到组装成一个 pipeline ，数据从源单元流向目的单元，完成整个流程。单元间是可以链接起来的（必须得链接起来以组成 pipeline ） .

— 应用程序通过 core 使用 factory_make 和 gst_object_unref 函数来创建及释放元件。 make 需要两个参数，一个是工厂名，一个是单元名。工厂名实际就是插件名，所以需要先加载插件上来，才能创建对应的元件。作为工厂（插件），其功能还不仅限于创建元件，一个工厂有属性，它知道自己能创建怎样的元件。

 

Gstreamer核心类图

 

Gstreamer插件相关类图分析（可参考我上一篇文章）

Pipeline工作时序图

 

 

 

Smith先生版权所有，如需转载，请注明出处:http://blog.youkuaiyun.com/acs713/article/details/7777946

否者，保留追究其法律责任的权利