GStreamer应用开发手册学习笔记之一

Gstreamer应用开发手册

I. 介绍
GStreamer 是一个非常强大而且通用的流媒体应用程序框架。 
GStreamer所具备的很多优点来源于其框架的模块化: GStreamer能够无缝的合并新的插件。 
但是, 由于追求模块化和高效率, 使得GStreamer在整个框架上变的复杂, 也同时因为复杂度的提高, 
使得开发一个新的应用程序显得不是那么的简单。
这个指南试图帮助你了解GStreamer的框架(version 0.10.3.1)以方便你在GStreamer框架的基础上做开发。 
第一章节将重点关注如何开发一个简单的音频播放器, 通过对整个过程的讲解,力图使你能够理解有关GStreamer的一些概念。
在之后的章节中,我们将讨论一些关于媒体播放(playback)控制的高级问题, 这些问题包括了录音、录象和编辑等等。

第1章. 序言
本章将从技术的角度来描述本手册的总体结构。

1.1. GStreamer是什么 ?
GStreamer是一个创建流媒体应用程序的框架。
其基本设计思想来自于俄勒冈(Oregon)研究生学院有关视频管道的创意, 同时也借鉴了DirectShow的设计思想。
GStreamer的程序开发框架使得编写任意类型的流媒体应用程序成为了可能。
在编写处理音频、视频或者两者皆有的应用程序时, GStreamer可以让你的工作变得简单。
GStreamer并不受限于音频和视频处理, 它能够处理任意类型的数据流。
管道设计的方法对于实际应用的滤波器几乎没有负荷, 它甚至可以用来设计出对延时有很高要求的高端音频应用程序。
GStreamer最显著的用途是在构建一个播放器上。
GStreamer已经支持很多格式的文件了, 包括: MP3、Ogg/Vorbis、MPEG-1/2、AVI、Quicktime、 mod等等。
从这个角度看,GStreamer更象是一个播放器。
但是它主要的优点却是在于: 它的可插入组件能够很方便的接入到任意的管道当中。
这个优点使得利用GStreamer编写一个万能的可编辑音视频应用程序成为可能。
GStreamer框架是基于插件的, 有些插件中提供了各种各样的多媒体数字信号编解码器,也有些提供了其他的功能。
所有的插件都能够被链接到任意的已经定义了的数据流管道中。
GStreamer的管道能够被GUI编辑器编辑, 能够以XML文件来保存。这样的设计使得管道程序库的消耗变得非常少。
GStreamer核心库函数是一个处理插件、数据流和媒体操作的框架。
 GStreamer核心库还提供了一个API, 这个API是开放给程序员使用的---
当程序员需要使用其他的插件来编写他所需要的应用程序的时候可以使用它。

1.2. 谁需要读这个手册?
本手册是从一个程序开发人员的角度来描述GStreamer的: 
它叙述了如何利用GStreamer的开发库以及工具来编写一个基于GStreamer的应用程序。
对于想学习"如何编写插件"的朋友们, 我们建议你去参考<<插件编写指南(Plugin Writers Guide)>>。

1.3. 预备知识
为了更好的理解本手册的内容, 你应该具备基本的C语言基础。
由于GStreamer一直采用GObject编程模式, 所以本手册也假定你已经理解了GObject的基本概念。
你可能还需要一些GTK+和GDK的知识, 这方面的知识你可以参照Eric Harlow的书Developing Linux Applications with GTK+ and GDK。
另外, 当你读完本手册后, 请读一下GStreamer Plugin Writer's Guide。 
当然,你还需要关注一下其它的GStreamer文档。

1.4. 本手册结构
为了帮助你更好的学习本手册, 我们将本手册分为几个大的部分, 
每一部分阐述了一个在GStreamer应用程序开发过程中特殊而又有用的话题。
如下所示:
Part I --- GStreamer 应用程序开发手册 (0.10.9.1)给你一个关于GStreamer总的概况叙述。
Part II --- GStreamer 应用程序开发手册 (0.10.9.1)阐述GStreamer应用程序开发的基本概念。
           本章结束后, 你将可以使用GStreamer来开发你自己的音频播放器。
Part III --- GStreamer 应用程序开发手册 (0.10.9.1)我们将继续讨论一些有关GStreamer深层次的主题, 
这些主题告诉了我们为什么GStreamer能在众多的竞争者当中脱颖而出。
我们将使用动态参数和动态接口来讨论应用程序中管道的交讯问题, 我们还将讨论线程同步、时钟同步、以及其他同步问题。
这些问题的讨论不仅向你讲述如何使用GStreamer的API, 
而且还将告诉你一些基于GStreamer应用程序开发过程中所经常遇到的问题的解决办法,
 通过这些知识的学习使你更加深刻的理解GStreamer的基本概念。

​Part IV --- GStreamer 应用程序开发手册 (0.10.9.1)我们将进入GStreamer 的高级编程领域。
你不需要对GStreamer所有的细节都了解清楚,但是基本的GStreamer概念仍然是需要的。
我们将讨论XML、playbin、 autopluggers等话题。
​
​Part V --- GStreamer 应用程序开发手册 (0.10.9.1)你将学习到一些有关GStreamer与GNOME、KDE、OS、X或者Windows集成的知识, 

当然你还将学习到一些有关调试和如何处理常见问题的方法。通过这些知识的学习, 将更好的方便你使用GStreamer 

第2章. 动机和目标
从历史的角度来看，Linux在多媒体方面已经远远落后于其他的操作系统。
Microsoft's Windows 和Apple's MacOS它们对多媒体设备、多媒体创作、播放和实时处理等方面已经有了很好的支持。
另一方面，Linux对多媒体应用的综合贡献比较少，这也使得Linux很难在专业级别的软件上与MS Windows 和MacOS去竞争。
GStreamer正是为解决Linux多媒体方面当前问题而设计的。


2.1. 当前的问题
我们描述了当今Linux平台下媒体处理的一些典型问题。


2.1.1. 大量的代码复制
对于那些想要播放一个声音文件的Linux用户来说，他们必须搜索各种声音播放器来播放不同格式文件，
而在这些播放器中，大部分的都一遍又一遍地重复使用了相同的代码。
对于那些想在应用程序中嵌入视频剪辑的Linux开发人员来说，他们必须要用粗略的hacks来运行外部的视频播放器，
因为没有一套可用的库提供给开发人员来创建可定制的播放器。


2.1.2. “一个目标”媒体播放器/媒体库
典型的MPEG播放器可以播放MPEG视频和音频，多数的播放器实现了完整的底层构造来达到他们的唯一目标：播放。
没有一套有效的机制可以提供对于音频和视频数据过滤和效果处理，更没有制定在视频或音频数据中添加滤波器或特殊效果的任何规定。
如果你希望将MPEG-2视频流转为AVI文件，那么你的最佳选择是，将所有的MPEG-2解码算法从播放器分离出来，并复制到你的AVI编码器中，因为这类算法不能简单的在应用程序之间共享。
开发人员曾经尝试着创建一个可以处理多种媒体类型的库，但由于缺乏通用的API，所以如何集成就成了重要的工作了。
因为在集成的过程中，我们需要关注一些特殊的媒体类型(avi文件，libmpeg2，...)，而集成这些媒体类型文件需要一个统一的接口。
GStreamer允许将这些库与通用的API一起打包，这样就简化了集成和复用。


2.1.3. 没有统一的插件管理机制
典型的播放器对于不同的媒体类型会有不同的插件，两个媒体播放器会实现各自不同的插件机制，
所以编解码器不能方便的交换。每一个典型的媒体播放器的插管理件系统是具有其特定应用程序的需求。
缺少统一的插件机制，已经严重阻碍了二进制编解码器的发展，因为没有一家公司希望将代码移植到不同的插件机制。
GStreamer当然也采用自己的插件系统，它为插件开发者提供了一个非常丰富的框架，从而保证这些插件能够广泛应用，
并与其他插件能够无缝的交互。GStreamer为插件提供的框架是非常灵活，它足以满足大多数插件的需求。


2.1.4. 拙劣的用户感
因为上述问题的原因，使得应用程序开发人员将相当多的时间花在如何处理后端、插件机制等等问题上。
从而耽误了大部分的项目时间，这样就常常导致后端和用户界面都只完成了一半，于是就导致了拙劣的用户感。


2.1.5. 没有网络透明度的规定
当前还没有一个底层框架出现，来允许对网络透明媒体的操作。
有趣的是，一个分布式的MPEG编码器能够复制非分布式编码器的相同的算法。
并没有关于使用 GNOME 和 KDE 桌面平台的技术的规定被制定出来，因为GNOME 和 KDE 桌面平台本身还在改进和完善，
所以很难将多媒体恰当地集成到很多用户的环境中。注意到GStreamer还提供很多种方法，
这些方法提供将GSreamer与不同的桌面系统进行集成(见附录里的集成一节)，而这些方法往往都不是网络透明化。
GStreamer内核在最底层没有采用网络透明技术，只是在顶层加了作为本地使用，
这就是说，创建一个核心组件的包就变得比较容易了。GStreamer允许管道在TCP协议上分离，
使用tcp插件来实现GStreamer数据协议，这个被包含在gst-plugins模块，目录gst/tcp


2.1.6. 与Windows™的产品还存在差距
我们要想看到Linux桌面系统的成功就要立足于可靠的媒体处理。
我们必须为商业编解码器和多媒体应用扫清障碍，这样Linux才能成为多媒体领域的一个选择。


2.2. 设计目标
我们将阐述在GStreamer开发中的目标．


2.2.1. 结构清晰且威力强大
GStreamer提供一套清晰的接口给以下一些开发人员：
希望构建媒体管道的应用程序员。程序员可以使用一系列强有利的工具来创建媒体管道，而不用去写一行代码，
从而使得复杂的媒体控制变得非常简单。
插件程序员。GStreamer向插件程序员提供了简洁而简单的API来创建self-plugin(自包含)插件，
同时还集成了大量的调试和跟踪机制和工具。GStreamer也提供了一系列现实例子。


2.2.2. 面向对象的编程思想
GStreamer是依附于GLib 2.0对象模型的，熟悉GLib或者旧版本的GTK+的程序员对GStreamer将会驾轻就熟。
GStreamer采用了信号与对象属性的机制。
所有对象的属性和功能都能在运行态被查询。
GStreamer与GTK+的编程方法非常相似，需要对象模型，对象所有(ownership of objects)，参考计算（reference counting）...


2.2.3. 灵活的可扩展性能
所有的GStreamer对象都可以采用GObject继承的方法进行扩展。
所有的插件都可以被动态装载，可以独立的扩展或升级。


2.2.4. 支持插件以二进制形式发布
作为共享库发布的插件能够在运行态直接加载，插件的所有属性可以由GObject属性来设置，而无需(事实上决不)去安装插件的头文件。
我们更多的关注在插件能够独立化，运行的时候还需要很多与插件相关的因素。


2.2.5. 高性能
高性能主要体现在：
   .  使用GLib的g_mem_chunk和非模块化分配算法使得内存分配尽可能最小。
   .  插件之间的连接非常轻型(light-weight)。
      数据在管道中的传递使用最小的消耗，管道中插件之间的数据传递只会涉及指针废弃。
   .  提供了一套对目标内存直接进行操作的机制。
      例如，插件可以向X server共享的内存空间直接写数据，缓冲区也可以指向任意的内存，如声卡的内部硬件缓冲区。
   .  refcounting和写拷贝将memcpy减少到最低。子缓冲区有效地将缓冲区分离为易于管理的块。
   .  使用线程联合(cothreads)减少线程消耗。
      线程联合(cothreads)是简单又高速的方法来切换子程序，作为衡量最低消耗600个cpu周期的标准。
   .  使用特殊的插件从而支持硬件加速。
   .  采用带有说明的插件注册，这样的话只在实际需要使用该插件才会去装载。
   .  所有的判断数据都不用互斥锁。


2.2.6. 核心库与插件(core/plugins)分离
GStreamer内核的本质是media-agnostic，我们了解的仅仅是字节和块，以及包含基本的元件，
GStreamer内核的强大功能甚至能够实现底层系统工具，像cp。
所有的媒体处理功能都是由插件从外部提供给内核的，并告诉内核如何去处理特定的媒体类型。


2.2.7. 为多媒体数字信号编解码实验提供一个框架
GStreamer成为一个简单的框架，编解码器的开发人员可以试验各种不同的算法，
提高开源多媒体编解码器开发的速度，如Theora and Vorbis。 

​