gstreamer笔记：capabilities negociation 规格协商

最新推荐文章于 2024-06-12 14:16:54 发布
最新推荐文章于 2024-06-12 14:16:54 发布
阅读量1.5k 收藏 19
点赞数 4
分类专栏： gstreamer 文章标签： gstreamer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yuangc/article/details/120010820
版权

caps指pad的capabilities，翻译为该pad支持的规格。每一个组件都有自己可以处理的数据规格，规定了当前元素的功能和支持的参数，比如常见的音视频格式、比特率等。
在元素连接的过程中，相邻的元素需要协商彼此可以衔接的数据格式，以便将对应的数据传给对方。比如解码器支持输出RGB和YUV，显示组件支持YUV，两者协商，决定使用YUV的数据格式。

caps协商主要通过问询和事件机制来实现. caps规格协商分为三类：固定协商、传输协商、动态协商。

1.固定协商

src pad只提供一种规格，下游元素不能请求其它的规格，则其实就直接设定死了，并不需要协商过程。比如typefinder或者filesrc，只是读取二进制数据，不存在更多的格式。
在这里插入图片描述

主要流程：

  • gst_pad_use_fixed_caps (src_pad)，标记规格是固定
  • gst_pad_set_caps，设定src_pad的规格，通知到下游节点
  /* capsnego */
  caps = gst_caps_new_simple ("audio/x-raw", "format", G_TYPE_STRING, GST_MPC_FORMAT, "layout", G_TYPE_STRING, "interleaved",
      "channels", G_TYPE_INT, i.channels,  "rate", G_TYPE_INT, i.sample_freq, NULL);
  gst_pad_use_fixed_caps (musepackdec->srcpad);
  if (!gst_pad_set_caps (musepackdec->srcpad, caps)) {
    GST_ELEMENT_ERROR (musepackdec, CORE, NEGOTIATION, (NULL), (NULL));
    return FALSE;
  }

gst_pad_set_caps函数会向对等节点发送GST_EVENT_CAPS消息，下游的对等节点收到之后就会进行对应的传输协商。此时下游节点会在event函数中收到GST_EVENT_CAPS事件，解析到该规格，然后往更下游设定。

2. 传输协商

传输协商是单向地决定某个规格，sink pad上收到上游的GST_EVENT_CAPS，解析caps的内容，然后将其设置到src pad。
上面提到，固定协商中，上游节点使用了gst_pad_set_caps函数来设定了固定的规格，下游的节点sink_pad就会从event GST_EVENT_CAPS收到这个固定的规格，然后将这个规格设定到自己的src pad。
在这里插入图片描述

主要流程：

  • gst_xxx_sink_event，收到GST_EVENT_CAPS事件
  • gst_pad_set_caps，解析并设定caps，将caps通知到下游节点
static gboolean gst_my_filter_setcaps (GstMyFilter *filter, GstCaps *caps)
{
  GstStructure *structure;
  int rate, channels;
  gboolean ret;
  GstCaps *outcaps;

  structure = gst_caps_get_structure (caps, 0);
  ret = gst_structure_get_int (structure, "rate", &rate);
  ret = ret && gst_structure_get_int (structure, "channels", &channels);
  if (!ret)
    return FALSE;

  outcaps = gst_caps_new_simple ("audio/x-raw", "format", G_TYPE_STRING, GST_AUDIO_NE(S16),
      "rate", G_TYPE_INT, rate, "channels", G_TYPE_INT, channels, NULL);
  ret = gst_pad_set_caps (filter->srcpad, outcaps);
  gst_caps_unref (outcaps);

  return ret;
}

static gboolean gst_my_filter_sink_event (GstPad    *pad, GstObject *parent, GstEvent  *event)
{
  gboolean ret;
  GstMyFilter *filter = GST_MY_FILTER (parent);
  
  switch (GST_EVENT_TYPE (event)) {
    case GST_EVENT_CAPS:
    {
      GstCaps *caps;
      gst_event_parse_caps (event, &caps);
      ret = gst_my_filter_setcaps (filter, caps);
      break;
    }
    default:
      ret = gst_pad_event_default (pad, parent, event);
      break;
  }
  return ret;
}

3. 动态协商

动态协商和上述的传输协商类似，不过这里收到的规格可能和下游元素不匹配，因此需要询问和协商。此时需要把收到的规格，同下游节点确认，选择一个彼此都可用的规格来使用。
在这里插入图片描述
主要流程：

  • gst_xxx_sink_event ： 收到上游节点GST_EVENT_CAPS事件和对应的caps
  • gst_pad_get_allowed_caps ：获取下游节点支持的caps（GST_QUERY_CAPS问询）。
  • 根据收到的caps和下游返回的caps，选择一个固定的caps。如果两者的caps没有交集，可以内部做格式转换（否则连接失败）。
  • gst_pad_set_caps，解析并设定caps，将caps通知到下游节点
static gboolean gst_my_filter_setcaps (GstMyFilter *filter, GstCaps *caps)
{
  if (gst_pad_set_caps (filter->srcpad, caps)) {
    filter->passthrough = TRUE;
  } else {
    othercaps = gst_pad_get_allowed_caps (filter->srcpad);//获取下游对等节点支持的caps
    newcaps = gst_caps_copy_nth (othercaps, 0);
    gst_pad_fixate_caps (filter->srcpad, newcaps);//选定一个caps
    if (!gst_pad_set_caps (filter->srcpad, newcaps))
      return FALSE;
...
static gboolean gst_my_filter_sink_event (GstPad    *pad, GstObject *parent, GstEvent  *event)
{
  gboolean ret;
  GstMyFilter *filter = GST_MY_FILTER (parent);
  
  switch (GST_EVENT_TYPE (event)) {
    case GST_EVENT_CAPS:
    {
      GstCaps *caps;
      gst_event_parse_caps (event, &caps);
      ret = gst_my_filter_setcaps (filter, caps);
      ...

4. 重配置GST_EVENT_RECONFIGURE

当下游元素遇到状态变化，需要上游改变数据规格的时候，可以通过发送GST_EVENT_RECONFIGURE事件，请求重新配置格式。比如用户改变了窗口大小，需要同步对视频尺寸进行裁剪，接受新的图像尺寸。
该事件只是一个通知，下游节点在环境变化时，更改自己的规格，然后请求上游节点重新进行一次协商。之后上游节点拿到的caps规格就是下游节点重新调整的参数。当然，最终规格还是要由上游节点来决定。
当需要时，直接向对方pad发送该事件即可。

    gst_pad_push_event (srcpad, gst_event_new_reconfigure ());

5. 交互事件实现

上述过程中，协商主要涉及GST_EVENT_CAPS、GST_QUERY_CAPS、GST_QUERY_ACCEPT_CAPS。
当前sink pad收到上游的GST_EVENT_CAPS，然后让src pad通过GST_QUERY_CAPS询问下游元素sink pad支持的格式，从中选择一个共同支持的格式。
另外，下游也可以在规格需要更改的时候，发送重新配置的事件GST_EVENT_RECONFIGURE，之后会重新走一遍协商流程。
无论怎样，都是上游的src pad来决定最终的格式。

GstBaseSrcClass中有一个默认的协商函数gst_base_src_default_negotiate，一般的插件不需要重新定义协商函数。该函数获取当前src的caps，再获取对等pad的caps，两者比较选择一个固定的caps，并通知对等节点。这里单独用gst_base_src_default_negotiate代码为例，追溯对应逻辑流程。

5.1. GST_QUERY_CAPS

src pad调用gst_pad_peer_query_caps函数，发出GST_QUERY_CAPS查询，目标是下游的sink pad：

gst_base_src_default_negotiate
	gst_pad_query_caps			//获取当前caps
	gst_pad_peer_query_caps		//获取对等pad的caps		
		--->gst_query_new_caps//新建问询 GST_QUERY_CAPS
				--->gst_query_new_custom
		--->gst_pad_peer_query//发出问询 GST_QUERY_CAPS
	gst_base_src_fixate			//匹配caps
	gst_base_src_set_caps		//设置caps

GST_QUERY_CAPS有默认的处理函数，继续往下游传输。需要当前的下游元素需要自己来处理，就在query函数来实现自己处理相关流程，否则不用关心。下游元素需要将支持的caps作为问询结果，用gst_query_set_caps_result (query, caps)设置caps为问询的结果，回传给上游。如果当前无法决定，可以通过gst_pad_query_default由下游节点来处理。

static gboolean gst_my_filter_sink_query( GstPad *pad, GstObject *parent, GstQuery *query)
{   
    GstMyFilter* filter = GST_MYFILTER(parent);
    GST_LOG_OBJECT ( filter, "gst_my_filter_sink_query received %s query: %" GST_PTR_FORMAT,GST_QUERY_TYPE_NAME (query), query);
    switch( GST_QUERY_TYPE( query ) ) 
    {
        case GST_QUERY_CAPS: 
      	GstCaps *filter, *caps;
      	gst_query_parse_caps (query, &filter);
      	caps = gst_ass_render_get_videosink_caps (pad, (GstAssRender *) parent, filter);
      	gst_query_set_caps_result (query, caps);
      	gst_caps_unref (caps);
      	res = TRUE;
      	break;
      	
      default:
      res = gst_pad_query_default (pad, parent, query);
      break;

注意问询和事件的所有处理都需要考虑更加下游的元素，gst_pad_query_default一定不能漏掉，否则链条断掉，下游元件就收不到应该处理的消息。
gst pad也将GST_QUERY_CAPS和返回值封装成了gst_pad_get_allowed_caps (GstPad * pad)函数，可以直接调用拿到下游节点的规格。

5.2 GST_QUERY_ACCEPT_CAPS

gst_base_src_default_negotiate函数调用gst_base_src_set_caps，根据问询结果创建一个新的caps，并推送对应事件。在事件处理流程中，会调用gst_pad_query_accept_caps来发出问询,并检查结果。

gst_base_src_default_negotiate--->
	gst_base_src_set_caps--->
		gst_pad_push_event--->		//发送事件
			gst_pad_send_event_unchecked--->
				pre_eventfunc_check--->					
					gst_pad_query_accept_caps--->//发送accept
						gst_query_new_accept_caps---> //新建GST_QUERY_ACCEPT_CAPS 
						gst_pad_query--->				//发送GST_QUERY_ACCEPT_CAPS
						gst_query_parse_accept_caps_result--->//检查问询结果

GST_QUERY_ACCEPT_CAPS 也是在问询处理函数处理，因为这里是通过上一阶段返回的caps来选择的，一般默认返回正确，可以不用再做确认。


static gboolean gst_my_filter_sink_query( GstPad *pad, GstObject *parent, GstQuery *query)
{   
    GstMyFilter* filter = GST_MYFILTER(parent);
    GST_LOG_OBJECT ( filter, "gst_my_filter_sink_query received %s query: %" GST_PTR_FORMAT,GST_QUERY_TYPE_NAME (query), query);
    switch( GST_QUERY_TYPE( query ) ) 
    {
        case GST_QUERY_CAPS:
         {
         gst_pad_query_default( pad, parent, query );         
         }
         break;
        case GST_QUERY_ACCEPT_CAPS:
         break;
        default:
         gst_pad_query_default( pad, parent, query );
         break;
    }
}

5.3 GST_EVENT_CAPS

GST_EVENT_CAPS是告诉对方，将要发送对应规格的数据了。该事件在确认caps accept之后，直接发送的。流程和上述一样，在pre_eventfunc_check之后，就会拿到pad的event处理函数，然后进行调用。

gst_base_src_default_negotiate--->
	gst_base_src_set_caps--->
		gst_pad_push_event--->//发送事件
			gst_pad_send_event_unchecked--->
				eventfullfunc = GST_PAD_EVENTFULLFUNC (pad);
  				eventfunc = GST_PAD_EVENTFUNC (pad);
				pre_eventfunc_check						//发送accept 问询			
			    if (eventfullfunc)						//调用pad event handle函数
			    ret = eventfullfunc (pad, parent, event);
			    else
			    ret = eventfunc (pad, parent, event))

这里调用的eventfunc就是我们初始化时候设置的事件处理函数：

static gboolean gst_my_filter_sink_event (GstPad * pad, GstObject * parent, GstEvent * event)
{
  GstMyFilter *filter;
  gboolean ret;
  filter = GST_MYFILTER (parent);
  switch (GST_EVENT_TYPE (event)) {
    case GST_EVENT_CAPS:
    {
      GstCaps *caps;
      gst_event_parse_caps (event, &caps);
      /* do something with the caps */
      /* and forward */
      ret = gst_pad_event_default (pad, parent, event);
      break;
    }

同样地，在代码中一般使用接口gst_pad_set_caps来设置规格，该函数封装了GST_EVENT_CAPS的创建和发送。

5.4 总结

利用gst_base_src_default_negotiate总结整个流程如下：

gst_base_src_default_negotiate
	gst_pad_query_caps			//获取当前caps
	gst_pad_peer_query_caps		//获取对等pad的caps		
		--->gst_query_new_caps//新建问询 GST_QUERY_CAPS
				--->gst_query_new_custom
		--->gst_pad_peer_query//发出问询 GST_QUERY_CAPS
	gst_base_src_fixate			//匹配caps
	gst_base_src_set_caps		//设置caps--->
		gst_pad_push_event--->		//发送GST_EVENT_CAPS事件
			gst_pad_send_event_unchecked--->		
				pre_eventfunc_check--->					
					gst_pad_query_accept_caps--->//发送accept 问询
						gst_query_new_accept_caps---> //新建GST_QUERY_ACCEPT_CAPS 
						gst_pad_query--->				//发送GST_QUERY_ACCEPT_CAPS
						gst_query_parse_accept_caps_result--->//检查问询结果
				ret = eventfunc (pad, parent, event)	//调用事件处理函数GST_EVENT_CAPS
GStreamer基础教程6：媒体格式和pad的Capabilities
ZONGXP的博客
03-12 909
目标 Pad的Capabilities是一个GStreamer element的基础，因为framework大部分时间是自动处理的，所以我们几乎感觉不到它的存在。本教程比较偏向原理，介绍了： 什么是Pad Capabilities 如何获得这个东西 什么时候应该去获得这个东西 为什么你需要了解他们 介绍 Pads Pads允许信息进入或者离开一个element——就像曾经展示过得一样...
GStreamer Pad and Capabilities Negotiation
techx的专栏
03-08 3699
Pad是什么 首先pad是GStreamer Element必不可少的组成部分，你可以把它看作是element和外界(其它element)交换数据的端口。数据从element的一端流入，另一端留出(一般情形，但是，source element只有出没有进， sink只有进没有出)，那么一个element就该有两个pad分别位于element的两端。从pad的角度来讲，根据数据的流入和流出方向，就该有
Gstreamer- 协商（Negotiation）
zk5950886的博客
07-03 1455
协商 Capabilities 协商是为 GStreamer pipeline内的数据流决定适当格式的过程。理想情况下，协商（也称为“capsnego”）将信息从pipeline中具有信息的那些部分传输到pipeline的那些易扩展的部分，受pipeline中不易扩展部分的约束。 基本规则 必须遵循这些简单的规则： 下游建议格式 上游决定格式 caps协商中使用了 4 种 查询/事件（queries/events ）： GST_QUERY_CAPS：获取可能的格式 GST_QUERY_ACCEPT_C
Gstreamer之Caps协商
天好蓝
01-06 8645
GStreamer一个多媒体框架，用来做多媒体播放器以及一些与之相关的应用都是一个不错的选择，当然这里指的多是Linux平台。如果你的平台是windows那不防可以考虑一下DirectShow等其它一些框架。 好吧，关于框架我先说到这里，先点到为止吧。如果后期时间允许我会单独的说说这些东西的。 开始说说gstreamer的caps协商过程吧。 说到gstreamer其实主要有
GStreamer 媒体格式和pad的Capabilities
weixin_40378209的博客
11-03 317
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
gstreamer协商
evsqiezi
05-28 323
实际的func是gst_base_transform_default_query->gst_base_transform_query_caps, 然后又调用gst_pad_peer_query(casfilter的src_pad),参考上面的分析，又调到gst_pad_peer_query（videobox的src_pad), 最终调用的是gst_base_sink_sink_query(fakesink的sink);以一个例子来看gstreamer的协商。做做笔记，仅供参考。
gstreamer：caps negociation
fanzirong_的博客
08-29 597
参考https://blog.youkuaiyun.com/techx/article/details/44134911 简单的理解，caps negociation 是在两个element通过pad连接以后，要进行对话，确定媒体格式和相关的属性。 一、caps negociation playbin 中的element连接好以后，就要进行caps negociation了，caps negociati...
meta-gstreamer1.0:GStreamer 1.0的OpenEmbedded层
04-30
GStreamer 1.0的OpenEmbedded层 该层为与OpenEmbedded和/或Yocto一起使用的提供了非官方支持。 它用于GStreamer配方反向移植，为较旧的OE版本提供对较新GStreamer版本的支持，并且还用作尚未升级到OE核心的最新配方...
深入GStreamer开发：自定义MP3 Sink插件
GStreamer是一个复杂的开源多媒体框架，它允许你创建各种各样的应用程序来处理媒体流。GStreamer的设计允许你创建各种插件，以支持新的媒体格式或执行特定的处理任务。GStreamer MP3 sink插件就是这样一个插件，它...
GStreamer框架：多媒体处理与流媒体解决方案
GStreamer框架是一个开源的跨平台的多媒体框架，它广泛应用于多媒体处理和流媒体传输领域。该框架能够运行在多种操作系统上，包括但不限于Linux、macOS、Windows等。GStreamer提供了强大的插件系统，允许开发者和...
GStreamer框架：打造流媒体服务器与应用
"GStreamer是一个用于创建流媒体服务器的框架，特别适合开发音频和视频应用程序，支持多种媒体格式，并且基于插件，允许灵活的管道构建和编辑。" GStreamer手册详细介绍了这个强大的多媒体处理框架，它源于俄勒冈...
GStreamer应用程序——Pads 和 capabilities(功能)
最新发布
FREEDOM_X的专栏
06-12 842
请注意，有一个明显的差异之间的垫可能的能力（即通常你发现的垫模板的上限，因为他们显示在gst-inspect），允许的上限的pad（可以是相同的pad的模板上限或其子集，取决于对等pad的可能上限）和最后协商的上限（这些描述流或缓冲区的确切格式，只包含一个结构，没有可变位，如范围或列表，即它们是固定的上限）。同样，当流结束时，它将删除pad。对于pad，它可以是可能的上限列表（通常是pad模板功能的副本），在这种情况下，pad尚未协商，或者是当前流过该pad的媒体类型，在这种情况下，pad已经协商过了。
gstreamer协商negoation
weixin_43360707的博客
10-29 1200
这是pipeline状态改变的重点函数，这里，状态首先从NULl改变到READY，然后再把状态从READY改变为PAUSED,其中到PAUSED的过程中会触发激活函数，比如src element的loop线程开始启动，解码器开始打开等动作。当pipeline的t状态改变为AREADY的时候，会从source发送一个STREAM_START的event，这个event一直传递到最后的sink element，每个element接收到STREAM_START后会做一些事情。
Gstreamer插件教程3.2—高级概念(Advanced Concepts)：Cap协商(Caps negotiation)
hwmstudent的博客
02-26 1557
cap协商是找到一种两个element都能够处理的媒体格式（即GstCaps）的一种行为。Gstreamer中的这种处理，对于整个pipeline，大多数情况下都可以找到最优的解决方案。在这个章节，我们解释了它是怎样工作的。 Caps negotiation basics 在Gstreamer中，媒体格式的协商总是遵循如下的简单规则： 一个下游的element在它的sinkpad上建
GStreamer Basic tutorial 学习笔记（六）
墨染
07-19 593
【墨染】GStreamer Basic tutorial学习笔记的第六篇，参考GStreamer官方文档和示例代码，整理了相关知识点。
gstreamer教程（三）-总线(Bus)_衬垫(Pads)_缓冲区(Buffers)_事件(Events)
alex1801
07-15 2587
1、总线(Bus) 总线是一个简单的系统，它采用自己的线程机制将一个管道线程的消息分发到一个应用程序当中。总线的优势是：当使用 GStreamer 的时候，应用程序不需要线程识别，即便 GStreamer 已经被加载了多个线程。 每一个管道默认包含一个总线，所以应用程序不需要再创建总线。应用程序只需要在总线上设置一个类似于对象的信号处理器的消息处理器。当主循环运行的时候，总线将会轮询这个消息处理器是否有新的消息，当消息被采集到后，总线将呼叫相应的回调函数来完成任务。 1.1、如何使用一个总线(Bus)
Gstreamer- Caps
zk5950886的博客
07-02 1040
Caps Caps是描述媒体类型的轻量可引用对象。它们由一组GstStructure和GstStructure的GstCapsFeatures集(可选)组成。 Caps在GstPadTemplates上被公开来描述一个给定的pad可以处理的所有可能的类型。它们还与element的描述一起存储在注册表中。 Caps 通过 CAPS 和 ACCEPT_CAPS 查询公开在element pad上。 该函数描述了pad可以处理或产生（协商）的可能类型。 存在各种方法来处理媒体类型，例如相减或相交。 操作 固定 如
gstreamer pipeline添加 caps 于插件之间
weixin_34366546的博客
08-01 305
注：如果插件没有caps属性，则需使用link_alsa_element_with_filter将caps置于两插件之间来实现。转自：http://e2e.ti.com/support/embedded/linux/f/354/p/569574/2087961 #include <glib.h>#include <stdio.h>#include &l...
Gstreamer中caps的intersect
weixin_43360707的博客
11-13 400
从上面案例可以看出，交集首先是对每个caps中的gst_struct名称进行对比，名称一样的才进行 ，比如上面video/x-raw,，caps2中的video/x-raw(ANY)在caps1中没有同名称的gst_struct，所以直接就忽略了，然后只对caps1和caps2中的video/x-raw进行交集，交集的时候对内部相同的key进行交集，比如format交集以后就只有ABGR64_LE了，后交集是对同名称的key中的value进行交集，但是对于caps1和caps2中的key进行并集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值