【Gstreamer 07】基础教程之 多线程和Pad可用性

于 2025-03-17 10:44:54 发布
阅读量846 收藏 14
点赞数 13
分类专栏： 开源库学习 文章标签： linux 音视频 媒体
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u011425939/article/details/146209496
版权

官网地址

Basic tutorial 7: Multithreading and Pad Availability

一、目标

GStreamer 会自动处理多线程，但在某些情况下，你可能需要手动解耦线程。本教程展示了如何做到这一点，并补充了关于 Pad 可用性的说明。更具体地说，本文解释了：

  • 如何为管道的某些部分创建新的执行线程
  • 什么是 Pad 可用性
  • 如何复制流

二、介绍

2.1、多线程

        GStreamer 是一个多线程框架。这意味着在内部，它会根据需要创建和销毁线程，例如，将流处理与应用程序线程解耦。此外，插件也可以自由创建线程以进行自己的处理，例如，视频解码器可以创建 4 个线程以充分利用具有 4 个核心的 CPU。

       在此基础上，构建管道时，应用程序可以显式指定某个分支（管道的一部分）在单独的线程上运行（例如，让音频和视频解码器同时执行）。

       这是通过使用 queue 元素来实现的，其工作原理如下：接收端 Pad 只是将数据入队并返回控制权。在另一个线程中，数据被出队并推送到下游。此元素也用于缓冲，正如后续流媒体教程中所示。队列的大小可以通过属性进行控制。

2.2、示例管道

这个例子构建了下面的管道：

        源是一个合成的音频信号（连续的音调），使用 tee 元素进行分流（它通过接收端 Pad 接收的所有内容都会通过源端 Pad 发送出去）。一个分支将信号发送到音频卡，另一个分支渲染波形的视频并将其发送到屏幕。

        如图所示，queue 创建了一个新线程，因此这个管道在 3 个线程中运行。具有多个接收端的管道通常需要多线程，因为为了同步，接收端通常会阻塞执行，直到所有其他接收端都准备好，而如果只有一个线程，它们无法准备好，因为会被第一个接收端阻塞。

2.3、请求 Pad

       在 基本教程3：动态管道中，我们看到了一个元素（uridecodebin），它最初没有任何 Pad，随着数据开始流动并且元素了解媒体内容后，Pad 才会出现。这些被称为 Sometimes（有时） Pads，与始终可用的常规 Pad（称为 Always Pads）形成对比。

       第三种 Pad 是 Request（请求） Pad，它是按需创建的。典型的例子是 tee 元素，它有一个接收端 Pad 但没有初始的源端 Pad：源端 Pad 需要被请求，然后 tee 才会添加它们。通过这种方式，输入流可以被复制任意次数。缺点是，与链接 Always Pads 相比，链接 Request Pads 的自动化程度较低，正如本示例的逐步解析所示。

        此外，要在 PLAYING 或 PAUSED 状态下请求（或释放）Pad，你需要额外注意（Pad 阻塞），本教程未对此进行描述。不过，在 NULL 或 READY 状态下请求（或释放）Pad 是安全的。

        事不宜迟，让我们来看代码。

三、简单的多线程示例

将这些代码复制到一个名为basic-tutorial-7.c的文本文件中（或者在GStreamer安装中找到它）。

basic-tutorial-7.c

#include <gst/gst.h>

int main(int argc, char *argv[]) {
  GstElement *pipeline, *audio_source, *tee, *audio_queue, *audio_convert, *audio_resample, *audio_sink;
  GstElement *video_queue, *visual, *video_convert, *video_sink;
  GstBus *bus;
  GstMessage *msg;
  GstPad *tee_audio_pad, *tee_video_pad;
  GstPad *queue_audio_pad, *queue_video_pad;

  /* Initialize GStreamer */
  gst_init (&argc, &argv);

  /* Create the elements */ 
  audio_source = gst_element_factory_make ("audiotestsrc", "audio_source");
  tee = gst_element_factory_make ("tee", "tee");
  audio_queue = gst_element_factory_make ("queue", "audio_queue");
  audio_convert = gst_element_factory_make ("audioconvert", "audio_convert");
  audio_resample = gst_element_factory_make ("audioresample", "audio_resample");
  audio_sink = gst_element_factory_make ("autoaudiosink", "audio_sink");
  video_queue = gst_element_factory_make ("queue", "video_queue");
  visual = gst_element_factory_make ("wavescope", "visual");
  video_convert = gst_element_factory_make ("videoconvert", "csp");
  video_sink = gst_element_factory_make ("autovideosink", "video_sink");

  /* Create the empty pipeline */
  pipeline = gst_pipeline_new ("test-pipeline");

  if (!pipeline || !audio_source || !tee || !audio_queue || !audio_convert || !audio_resample || !audio_sink ||
      !video_queue || !visual || !video_convert || !video_sink) {
    g_printerr ("Not all elements could be created.\n");
    return -1;
  }

  /* Configure elements */
  g_object_set (audio_source, "freq", 215.0f, NULL);
  g_object_set (visual, "shader", 0, "style", 1, NULL);

  /* Link all elements that can be automatically linked because they have "Always" pads */
  gst_bin_add_many (GST_BIN (pipeline), audio_source, tee, audio_queue, audio_convert, audio_resample, audio_sink,
      video_queue, visual, video_convert, video_sink, NULL);
  if (gst_element_link_many (audio_source, tee, NULL) != TRUE ||
      gst_element_link_many (audio_queue, audio_convert, audio_resample, audio_sink, NULL) != TRUE ||
      gst_element_link_many (video_queue, visual, video_convert, video_sink, NULL) != TRUE) {
    g_printerr ("Elements could not be linked.\n");
    gst_object_unref (pipeline);
    return -1;
  }

  /* Manually link the Tee, which has "Request" pads */
  tee_audio_pad = gst_element_request_pad_simple (tee, "src_%u");
  g_print ("Obtained request pad %s for audio branch.\n", gst_pad_get_name (tee_audio_pad));
  queue_audio_pad = gst_element_get_static_pad (audio_queue, "sink");
  tee_video_pad = gst_element_request_pad_simple (tee, "src_%u");
  g_print ("Obtained request pad %s for video branch.\n", gst_pad_get_name (tee_video_pad));
  queue_video_pad = gst_element_get_static_pad (video_queue, "sink");
  if (gst_pad_link (tee_audio_pad, queue_audio_pad) != GST_PAD_LINK_OK ||
      gst_pad_link (tee_video_pad, queue_video_pad) != GST_PAD_LINK_OK) {
    g_printerr ("Tee could not be linked.\n");
    gst_object_unref (pipeline);
    return -1;
  }
  gst_object_unref (queue_audio_pad);
  gst_object_unref (queue_video_pad);

  /* Start playing the pipeline */
  gst_element_set_state (pipeline, GST_STATE_PLAYING);

  /* Wait until error or EOS */
  bus = gst_element_get_bus (pipeline);
  msg = gst_bus_timed_pop_filtered (bus, GST_CLOCK_TIME_NONE, GST_MESSAGE_ERROR | GST_MESSAGE_EOS);

  /* Release the request pads from the Tee, and unref them */
  gst_element_release_request_pad (tee, tee_audio_pad);
  gst_element_release_request_pad (tee, tee_video_pad);
  gst_object_unref (tee_audio_pad);
  gst_object_unref (tee_video_pad);

  /* Free resources */
  if (msg != NULL)
    gst_message_unref (msg);
  gst_object_unref (bus);
  gst_element_set_state (pipeline, GST_STATE_NULL);

  gst_object_unref (pipeline);
  return 0;
}

Linux 安装库(Install GStreamer on Ubuntu or Debian)

apt-get install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libgstreamer-plugins-bad1.0-dev gstreamer1.0-plugins-base gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav gstreamer1.0-tools gstreamer1.0-x gstreamer1.0-alsa gstreamer1.0-gl gstreamer1.0-gtk3 gstreamer1.0-qt5 gstreamer1.0-pulseaudio

其他的系统看官网教程。

Installing on Mac OS X

执行编译

gcc basic-tutorial-7.c -o basic-tutorial-7 `pkg-config --cflags --libs gstreamer-1.0`

必需的库：gstreamer-1.0

四、代码解析

/* Create the elements */
audio_source = gst_element_factory_make ("audiotestsrc", "audio_source");
tee = gst_element_factory_make ("tee", "tee");
audio_queue = gst_element_factory_make ("queue", "audio_queue");
audio_convert = gst_element_factory_make ("audioconvert", "audio_convert");
audio_resample = gst_element_factory_make ("audioresample", "audio_resample");
audio_sink = gst_element_factory_make ("autoaudiosink", "audio_sink");
video_queue = gst_element_factory_make ("queue", "video_queue");
visual = gst_element_factory_make ("wavescope", "visual");
video_convert = gst_element_factory_make ("videoconvert", "video_convert");
video_sink = gst_element_factory_make ("autovideosink", "video_sink");

      上图所示的所有元素都在这里实例化了：

      audiotestsrc 产生一个合成音调。wavescope 消耗音频信号并渲染波形，就像它是一个（尽管是廉价的）示波器一样。我们已经使用过 autoaudiosink 和 autovideosink。

      转换元素（audioconvert、audioresample 和 videoconvert）是必要的，以确保管道可以链接。实际上，音频和视频接收器的能力取决于硬件，你在设计时无法知道它们是否与 audiotestsrc 和 wavescope 产生的能力匹配。如果能力匹配，这些元素将以“直通”模式运行，不会修改信号，对性能的影响可以忽略不计。

/* Configure elements */
g_object_set (audio_source, "freq", 215.0f, NULL);
g_object_set (visual, "shader", 0, "style", 1, NULL);

     为了更好地演示，进行了一些小调整：audiotestsrc 的“freq”属性控制波的频率（215Hz 使波在窗口中几乎静止），wavescope 的这种样式和着色器使波连续。使用基础教程10:GStreamer工具中描述的 gst-inspect-1.0 工具来了解这些元素的所有属性。

/* Link all elements that can be automatically linked because they have "Always" pads */
gst_bin_add_many (GST_BIN (pipeline), audio_source, tee, audio_queue, audio_convert, audio_sink,
    video_queue, visual, video_convert, video_sink, NULL);
if (gst_element_link_many (audio_source, tee, NULL) != TRUE ||
    gst_element_link_many (audio_queue, audio_convert, audio_sink, NULL) != TRUE ||
    gst_element_link_many (video_queue, visual, video_convert, video_sink, NULL) != TRUE) {
  g_printerr ("Elements could not be linked.\n");
  gst_object_unref (pipeline);
  return -1;
}

      此代码块将所有元素添加到管道中，然后链接可以自动链接的元素（如注释所述，具有 Always Pads 的元素）。

      gst_element_link_many() 实际上可以链接具有 Request Pads 的元素。它在内部请求 Pads，因此你不必担心链接的元素是否具有 Always 或 Request Pads。尽管看起来很奇怪，但这实际上是不方便的，因为你仍然需要在之后释放请求的 Pads，而且如果 Pad 是由 gst_element_link_many() 自动请求的，很容易忘记。通过始终手动请求 Request Pads 来避免麻烦，如下一个代码块所示。

/* Manually link the Tee, which has "Request" pads */
tee_audio_pad = gst_element_request_pad_simple (tee, "src_%u");
g_print ("Obtained request pad %s for audio branch.\n", gst_pad_get_name (tee_audio_pad));
queue_audio_pad = gst_element_get_static_pad (audio_queue, "sink");
tee_video_pad = gst_element_request_pad_simple (tee, "src_%u");
g_print ("Obtained request pad %s for video branch.\n", gst_pad_get_name (tee_video_pad));
queue_video_pad = gst_element_get_static_pad (video_queue, "sink");
if (gst_pad_link (tee_audio_pad, queue_audio_pad) != GST_PAD_LINK_OK ||
    gst_pad_link (tee_video_pad, queue_video_pad) != GST_PAD_LINK_OK) {
  g_printerr ("Tee could not be linked.\n");
  gst_object_unref (pipeline);
  return -1;
}
gst_object_unref (queue_audio_pad);
gst_object_unref (queue_video_pad);

      要链接 Request Pads，需要通过“请求”它们来获取。一个元素可能能够产生不同类型的 Request Pads，因此在请求它们时，必须提供所需的 Pad 模板名称。在 tee 元素的文档中，我们看到它有两个 pad 模板，名为“sink”（用于其 sink Pads）和“src_%u”（用于 Request Pads）。我们使用 gst_element_request_pad_simple() 从 tee 请求两个 Pads（用于音频和视频分支）。

      然后，我们从下游元素获取需要链接这些 Request Pads 的 Pads。这些是普通的 Always Pads，因此我们使用 gst_element_get_static_pad() 获取它们。

     最后，我们使用 gst_pad_link() 链接 pads。这是 gst_element_link() 和 gst_element_link_many() 内部使用的函数。

  我们获取的 sink Pads 需要使用 gst_object_unref() 释放。Request Pads 将在我们不再需要它们时释放，即在程序结束时。
   
  然后，我们像往常一样将管道设置为播放状态，并等待错误消息或 EOS 产生。剩下的唯一事情是清理请求的 Pads：
/* Release the request pads from the Tee, and unref them */
gst_element_release_request_pad (tee, tee_audio_pad);
gst_element_release_request_pad (tee, tee_video_pad);
gst_object_unref (tee_audio_pad);
gst_object_unref (tee_video_pad);

     gst_element_release_request_pad() 从 tee 释放 pad，但仍需要使用 gst_object_unref() 取消引用（释放）。

五、结论

本教程展示了：

  • 如何通过使用 queue 元素使管道的部分在不同线程上运行。
  • 什么是 Request Pad 以及如何使用 gst_element_request_pad_simple()、gst_pad_link() 和 gst_element_release_request_pad() 链接具有 request pads 的元素。
  • 如何通过使用 tee 元素使相同的流在不同的分支中可用。

下一个教程在此基础上展示了如何将数据手动注入和提取到运行的管道中。

评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值