【Gstreamer 04】基础教程之时间管理

Jayson God

于 2025-03-14 11:01:27 发布

阅读量759

点赞数 14

分类专栏：开源库学习文章标签： linux 音视频媒体

本文链接：https://blog.youkuaiyun.com/u011425939/article/details/146170219

版权

开源库学习专栏收录该内容

22 篇文章

订阅专栏

官网地址

Basic tutorial 4: Time management

一、目标

本教程展示了如何使用与GStreamer时间相关的工具。特别是:

如何查询管道信息，如流位置或持续时间。
如何查找（跳转）到流中的不同位置（时间）。

二、介绍

GstQuery 是一种机制，允许向元素或 pad 查询某条信息。在这个示例中，我们向管道询问是否允许执行寻址操作（某些源，例如直播流，不允许寻址）。如果允许，那么在视频运行十秒后，我们使用寻址操作跳转到不同的位置。

在之前的教程中，一旦我们设置并运行了管道，我们的主函数就会一直等待通过总线接收 ERROR 或 EOS 信号。在这里，我们修改了这个函数，使其定期唤醒并查询管道的流位置，以便我们可以在屏幕上打印它。这与媒体播放器的行为类似，定期更新用户界面。

最后，每当流持续时间发生变化时，都会查询并更新它。

三、例子

将这些代码复制到一个名为basic-tutorial-4.c的文本文件中（或者在GStreamer安装中找到它）。

basic-tutorial-4.c

#include <gst/gst.h>

/* Structure to contain all our information, so we can pass it around */
typedef struct _CustomData {
  GstElement *playbin;  /* Our one and only element */
  gboolean playing;      /* Are we in the PLAYING state? */
  gboolean terminate;    /* Should we terminate execution? */
  gboolean seek_enabled; /* Is seeking enabled for this media? */
  gboolean seek_done;    /* Have we performed the seek already? */
  gint64 duration;       /* How long does this media last, in nanoseconds */
} CustomData;

/* Forward definition of the message processing function */
static void handle_message (CustomData *data, GstMessage *msg);

int main(int argc, char *argv[]) {
  CustomData data;
  GstBus *bus;
  GstMessage *msg;
  GstStateChangeReturn ret;

  data.playing = FALSE;
  data.terminate = FALSE;
  data.seek_enabled = FALSE;
  data.seek_done = FALSE;
  data.duration = GST_CLOCK_TIME_NONE;

  /* Initialize GStreamer */
  gst_init (&argc, &argv);

  /* Create the elements */
  data.playbin = gst_element_factory_make ("playbin", "playbin");

  if (!data.playbin) {
    g_printerr ("Not all elements could be created.\n");
    return -1;
  }

  /* Set the URI to play */
  g_object_set (data.playbin, "uri", "https://gstreamer.freedesktop.org/data/media/sintel_trailer-480p.webm", NULL);

  /* Start playing */
  ret = gst_element_set_state (data.playbin, GST_STATE_PLAYING);
  if (ret == GST_STATE_CHANGE_FAILURE) {
    g_printerr ("Unable to set the pipeline to the playing state.\n");
    gst_object_unref (data.playbin);
    return -1;
  }

  /* Listen to the bus */
  bus = gst_element_get_bus (data.playbin);
  do {
    msg = gst_bus_timed_pop_filtered (bus, 100 * GST_MSECOND,
        GST_MESSAGE_STATE_CHANGED | GST_MESSAGE_ERROR | GST_MESSAGE_EOS | GST_MESSAGE_DURATION);

    /* Parse message */
    if (msg != NULL) {
      handle_message (&data, msg);
    } else {
      /* We got no message, this means the timeout expired */
      if (data.playing) {
        gint64 current = -1;

        /* Query the current position of the stream */
        if (!gst_element_query_position (data.playbin, GST_FORMAT_TIME, &current)) {
          g_printerr ("Could not query current position.\n");
        }

        /* If we didn't know it yet, query the stream duration */
        if (!GST_CLOCK_TIME_IS_VALID (data.duration)) {
          if (!gst_element_query_duration (data.playbin, GST_FORMAT_TIME, &data.duration)) {
            g_printerr ("Could not query current duration.\n");
          }
        }

        /* Print current position and total duration */
        g_print ("Position %" GST_TIME_FORMAT " / %" GST_TIME_FORMAT "\r",
            GST_TIME_ARGS (current), GST_TIME_ARGS (data.duration));

        /* If seeking is enabled, we have not done it yet, and the time is right, seek */
        if (data.seek_enabled && !data.seek_done && current > 10 * GST_SECOND) {
          g_print ("\nReached 10s, performing seek...\n");
          gst_element_seek_simple (data.playbin, GST_FORMAT_TIME,
              GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_KEY_UNIT, 30 * GST_SECOND);
          data.seek_done = TRUE;
        }
      }
    }
  } while (!data.terminate);

  /* Free resources */
  gst_object_unref (bus);
  gst_element_set_state (data.playbin, GST_STATE_NULL);
  gst_object_unref (data.playbin);
  return 0;
}

static void handle_message (CustomData *data, GstMessage *msg) {
  GError *err;
  gchar *debug_info;

  switch (GST_MESSAGE_TYPE (msg)) {
    case GST_MESSAGE_ERROR:
      gst_message_parse_error (msg, &err, &debug_info);
      g_printerr ("Error received from element %s: %s\n", GST_OBJECT_NAME (msg->src), err->message);
      g_printerr ("Debugging information: %s\n", debug_info ? debug_info : "none");
      g_clear_error (&err);
      g_free (debug_info);
      data->terminate = TRUE;
      break;
    case GST_MESSAGE_EOS:
      g_print ("\nEnd-Of-Stream reached.\n");
      data->terminate = TRUE;
      break;
    case GST_MESSAGE_DURATION:
      /* The duration has changed, mark the current one as invalid */
      data->duration = GST_CLOCK_TIME_NONE;
      break;
    case GST_MESSAGE_STATE_CHANGED: {
      GstState old_state, new_state, pending_state;
      gst_message_parse_state_changed (msg, &old_state, &new_state, &pending_state);
      if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data->playbin)) {
        g_print ("Pipeline state changed from %s to %s:\n",
            gst_element_state_get_name (old_state), gst_element_state_get_name (new_state));

        /* Remember whether we are in the PLAYING state or not */
        data->playing = (new_state == GST_STATE_PLAYING);

        if (data->playing) {
          /* We just moved to PLAYING. Check if seeking is possible */
          GstQuery *query;
          gint64 start, end;
          query = gst_query_new_seeking (GST_FORMAT_TIME);
          if (gst_element_query (data->playbin, query)) {
            gst_query_parse_seeking (query, NULL, &data->seek_enabled, &start, &end);
            if (data->seek_enabled) {
              g_print ("Seeking is ENABLED from %" GST_TIME_FORMAT " to %" GST_TIME_FORMAT "\n",
                  GST_TIME_ARGS (start), GST_TIME_ARGS (end));
            } else {
              g_print ("Seeking is DISABLED for this stream.\n");
            }
          }
          else {
            g_printerr ("Seeking query failed.");
          }
          gst_query_unref (query);
        }
      }
    } break;
    default:
      /* We should not reach here */
      g_printerr ("Unexpected message received.\n");
      break;
  }
  gst_message_unref (msg);
}

Linux 安装库(Install GStreamer on Ubuntu or Debian)

apt-get install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libgstreamer-plugins-bad1.0-dev gstreamer1.0-plugins-base gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav gstreamer1.0-tools gstreamer1.0-x gstreamer1.0-alsa gstreamer1.0-gl gstreamer1.0-gtk3 gstreamer1.0-qt5 gstreamer1.0-pulseaudio

其他的系统看官网教程。

Installing on Mac OS X

执行编译

gcc basic-tutorial-4.c -o basic-tutorial-4 `pkg-config --cflags --libs gstreamer-1.0`

必需的库：gstreamer-1.0

四、分析代码

/* Structure to contain all our information, so we can pass it around */
typedef struct _CustomData {
  GstElement *playbin;  /* Our one and only element */
  gboolean playing;      /* Are we in the PLAYING state? */
  gboolean terminate;    /* Should we terminate execution? */
  gboolean seek_enabled; /* Is seeking enabled for this media? */
  gboolean seek_done;    /* Have we performed the seek already? */
  gint64 duration;       /* How long does this media last, in nanoseconds */
} CustomData;

/* Forward definition of the message processing function */
static void handle_message (CustomData *data, GstMessage *msg);

我们首先定义一个结构体来包含所有信息，以便我们可以将其传递给其他函数。特别是，在这个示例中，我们将消息处理代码移动到它自己的函数 handle_message 中，因为它变得有点太大了。

然后，我们构建一个由单个元素 playbin 组成的管道，这已经在基础教程 1：Hello world!中见过。然而，playbin 本身就是一个管道，在这种情况下，它是管道中唯一的元素，因此我们直接使用 playbin 元素。我们将跳过细节：剪辑的 URI 通过 URI 属性传递给 playbin，管道被设置为播放状态。

msg = gst_bus_timed_pop_filtered (bus, 100 * GST_MSECOND,
    GST_MESSAGE_STATE_CHANGED | GST_MESSAGE_ERROR | GST_MESSAGE_EOS | GST_MESSAGE_DURATION);

之前我们没有为 gst_bus_timed_pop_filtered() 提供超时时间，这意味着它会在收到消息之前一直阻塞。现在我们使用 100 毫秒的超时时间，因此，如果在十分之一秒内没有收到消息，函数将返回 NULL。我们将使用这个逻辑来更新我们的“用户界面”。

请注意，所需的超时必须指定为 GstClockTime，即以纳秒为单位。因此，表示不同时间单位的数字应乘以宏，如 GST_SECOND 或 GST_MSECOND。这也使您的代码更具可读性。

如果我们收到消息，则在 handle_message 函数中处理它（下一节），否则：

用户界面刷新

/* We got no message, this means the timeout expired */
if (data.playing) {

如果管道处于 PLAYING 状态，那么是时候刷新屏幕了。如果我们不处于 PLAYING 状态，我们不希望做任何事情，因为大多数查询都会失败。

我们大约每秒到达这里 10 次，这对于我们的用户界面来说是一个足够好的刷新率。我们将在屏幕上打印当前媒体位置，这可以通过查询管道来获取。这涉及几个步骤，将在下一节中展示，但由于位置和持续时间是常见的查询，GstElement 提供了更简单的现成替代方案：

/* Query the current position of the stream */
if (!gst_element_query_position (data.pipeline, GST_FORMAT_TIME, &current)) {
  g_printerr ("Could not query current position.\n");
}

gst_element_query_position() 隐藏了查询对象的管理，并直接为我们提供结果。

/* If we didn't know it yet, query the stream duration */
if (!GST_CLOCK_TIME_IS_VALID (data.duration)) {
  if (!gst_element_query_duration (data.pipeline, GST_FORMAT_TIME, &data.duration)) {
     g_printerr ("Could not query current duration.\n");
  }
}

现在是了解流长度的好时机，使用另一个 GstElement 辅助函数：gst_element_query_duration()。

/* Print current position and total duration */
g_print ("Position %" GST_TIME_FORMAT " / %" GST_TIME_FORMAT "\r",
    GST_TIME_ARGS (current), GST_TIME_ARGS (data.duration));

请注意使用 GST_TIME_FORMAT 和 GST_TIME_ARGS 宏来提供用户友好的 GStreamer 时间表示。

/* If seeking is enabled, we have not done it yet, and the time is right, seek */
if (data.seek_enabled && !data.seek_done && current > 10 * GST_SECOND) {
  g_print ("\nReached 10s, performing seek...\n");
  gst_element_seek_simple (data.pipeline, GST_FORMAT_TIME,
      GST_SEEK_FLAG_FLUSH | GST_SEEK_FLAG_KEY_UNIT, 30 * GST_SECOND);
  data.seek_done = TRUE;
}

现在我们通过调用 gst_element_seek_simple() 在管道上执行寻址操作。许多寻址的复杂性都隐藏在这个方法中，这是一件好事！

让我们回顾一下参数：

GST_FORMAT_TIME 表示我们以时间单位指定目标位置。其他寻址格式使用不同的单位。

然后是 GstSeekFlags，让我们回顾一下最常见的：

GST_SEEK_FLAG_FLUSH：在寻址之前丢弃管道中当前的所有数据。可能会在管道重新填充并显示新数据时暂停一会儿，但大大提高了应用程序的“响应速度”。如果不提供此标志，可能会显示“陈旧”数据一段时间，直到新位置出现在管道的末端。
GST_SEEK_FLAG_KEY_UNIT：对于大多数编码的视频流，无法寻址到任意位置，只能寻址到某些称为关键帧的帧。当使用此标志时，寻址将实际移动到最近的关键帧并立即开始生成数据。如果不使用此标志，管道将在内部移动到最近的关键帧（它没有其他选择），但在到达请求的位置之前不会显示数据。后一种选择更准确，但可能需要更长的时间。
GST_SEEK_FLAG_ACCURATE：某些媒体剪辑没有提供足够的索引信息，这意味着寻址到任意位置非常耗时。在这些情况下，GStreamer 通常会估计要寻址的位置，通常效果很好。如果这种精度对您的情况不够好（您看到寻址没有到达您要求的确切时间），则提供此标志。请注意，计算寻址位置可能需要更长的时间（在某些文件上非常长）。

最后，我们提供要寻址到的位置。由于我们要求的是 GST_FORMAT_TIME，因此该值必须以纳秒为单位，因此我们以秒为单位表示时间，为简单起见，然后乘以 GST_SECOND。

消息泵

handle_message 函数处理通过管道的总线接收到的所有消息。ERROR 和 EOS 的处理与之前的教程相同，因此我们跳过到有趣的部分：

case GST_MESSAGE_DURATION:
  /* The duration has changed, mark the current one as invalid */
  data->duration = GST_CLOCK_TIME_NONE;
  break;

当流的持续时间发生变化时，此消息会发布到总线上。在这里，我们只需将当前持续时间标记为无效，以便稍后重新查询。

case GST_MESSAGE_STATE_CHANGED: {
  GstState old_state, new_state, pending_state;
  gst_message_parse_state_changed (msg, &old_state, &new_state, &pending_state);
  if (GST_MESSAGE_SRC (msg) == GST_OBJECT (data->pipeline)) {
    g_print ("Pipeline state changed from %s to %s:\n",
        gst_element_state_get_name (old_state), gst_element_state_get_name (new_state));

    /* Remember whether we are in the PLAYING state or not */
    data->playing = (new_state == GST_STATE_PLAYING);

寻址和时间查询通常只在 PAUSED 或 PLAYING 状态下获得有效回复，因为所有元素都有机会接收信息并配置自己。在这里，我们使用 playing 变量来跟踪管道是否处于 PLAYING 状态。此外，如果我们刚刚进入 PLAYING 状态，我们会进行第一次查询。我们询问管道是否允许在此流上进行寻址：

if (data->playing) {
  /* We just moved to PLAYING. Check if seeking is possible */
  GstQuery *query;
  gint64 start, end;
  query = gst_query_new_seeking (GST_FORMAT_TIME);
  if (gst_element_query (data->pipeline, query)) {
    gst_query_parse_seeking (query, NULL, &data->seek_enabled, &start, &end);
    if (data->seek_enabled) {
      g_print ("Seeking is ENABLED from %" GST_TIME_FORMAT " to %" GST_TIME_FORMAT "\n",
          GST_TIME_ARGS (start), GST_TIME_ARGS (end));
    } else {
      g_print ("Seeking is DISABLED for this stream.\n");
    }
  }
  else {
    g_printerr ("Seeking query failed.");
  }
  gst_query_unref (query);
}

gst_query_new_seeking() 创建一个新的“寻址”类型的查询对象，格式为 GST_FORMAT_TIME。这表示我们希望通过指定要移动到的新时间来寻址。我们还可以请求 GST_FORMAT_BYTES，然后寻址到源文件中的特定字节位置，但这通常不太有用。

然后，此查询对象通过 gst_element_query() 传递给管道。结果存储在同一查询中，并可以通过 gst_query_parse_seeking() 轻松检索。它提取一个布尔值，指示是否允许寻址，以及允许寻址的范围。

完成后不要忘记取消引用查询对象。

就是这样！有了这些知识，就可以构建一个媒体播放器，它可以根据当前流位置定期更新滑块，并通过移动滑块来允许寻址！

五、结论

本教程展示了：

如何使用 GstQuery 查询管道以获取信息
如何使用 gst_element_query_position() 和 gst_element_query_duration() 获取常见信息，如位置和持续时间
如何使用 gst_element_seek_simple() 寻址到流中的任意位置
在哪些状态下可以执行所有这些操作

下一个教程展示了如何将 GStreamer 与图形用户界面工具包集成。

请记住，在本页附件中，您应该可以找到教程的完整源代码以及构建它所需的任何辅助文件。