gst hdr

在 GStreamer 中解析视频流的 HDR（高动态范围）信息并将其传递给 DRM 显示模块，涉及以下几个步骤：

解析 HDR 元数据：从视频流中提取 HDR 元数据（如亮度、色彩空间等）。

配置 DRM 显示模块：将 HDR 元数据传递给 DRM 显示模块，以正确显示 HDR 内容。

以下是详细的实现步骤和示例代码：

1. 解析 HDR 元数据

HDR 元数据通常嵌入在视频流的 SEI（Supplemental Enhancement Information）或容器格式（如 MP4、MKV）中。GStreamer 提供了插件和工具来解析这些元数据。

1.1 使用 gst-discoverer 检查 HDR 信息

gst-discoverer 是 GStreamer 提供的一个工具，用于分析媒体文件的元数据。

gst-discoverer-1.0 video_with_hdr.mp4

输出示例：

HDR Metadata:
  Mastering Display Color Volume:
    Red: (0.6800, 0.3200)
    Green: (0.2650, 0.6900)
    Blue: (0.1500, 0.0600)
    White Point: (0.3127, 0.3290)
    Max Luminance: 1000.0000 cd/m²
    Min Luminance: 0.0010 cd/m²

1.2 使用 gst-plugins-bad 解析 HDR 元数据

gst-plugins-bad 提供了 h264parse、h265parse 等插件，可以解析 HDR 元数据。

示例 Pipeline

gst-launch-1.0 filesrc location=video_with_hdr.mp4 ! qtdemux ! h265parse ! avdec_h265 ! videoconvert ! autovideosink

qtdemux：解复用 MP4 容器。

h265parse：解析 H.265 视频流中的 HDR 元数据。

avdec_h265：解码 H.265 视频流。

videoconvert：转换视频格式。

autovideosink：自动选择视频输出。

2. 配置 DRM 显示模块

DRM 显示模块需要接收 HDR 元数据，以正确配置显示器的 HDR 模式。

2.1 使用 libdrm 设置 HDR 元数据

DRM 提供了 drmModeCreatePropertyBlob 和 drmModeObjectSetProperty 等函数，用于设置 HDR 元数据。

示例代码

#include <xf86drm.h>
#include <xf86drmMode.h>

void set_hdr_metadata(int fd, uint32_t connector_id, uint32_t blob_id) {
    drmModeObjectSetProperty(fd, connector_id, DRM_MODE_OBJECT_CONNECTOR,
                             DRM_MODE_PROP_HDR_METADATA, blob_id);
}

int main() {
    int fd = drmOpen("card0", NULL);
    if (fd < 0) {
        fprintf(stderr, "Failed to open DRM device\n");
        return -1;
    }

    // 创建 HDR 元数据 Blob
    struct hdr_metadata hdr_meta = {
        .max_cll = 1000,
        .max_fall = 400,
        .min_dml = 0.001,
        .max_dml = 1000,
    };

    uint32_t blob_id;
    drmModeCreatePropertyBlob(fd, &hdr_meta, sizeof(hdr_meta), &blob_id);

    // 设置 HDR 元数据
    set_hdr_metadata(fd, connector_id, blob_id);

    drmClose(fd);
    return 0;
}

drmModeCreatePropertyBlob：创建 HDR 元数据的 Blob。

drmModeObjectSetProperty：将 HDR 元数据设置到 DRM 连接器。

HDR_OUTPUT_METADATA:

userspace/app can get HDR cap info from sink device EDID, and then send it to driver, driver will packet it in SDP of HDMI then send it to sink device
drm driver will pack the sink-HDR-metadata + DRM hardware capability to sink device
Driver will pack sink-device-HDR + video/game HDR + hardware HDR info into HDMI/DP info packet

struct rk_hdr_metadata_infoframe {
    /**
     * @eotf: Electro-Optical Transfer Function (EOTF)
     * used in the stream.
     */
    unsigned char eotf;  // 0: SDR-Gamma, 1: HDR-Gamma, 2: SMPTE2084, 3: HLG
    /**
     * @metadata_type: Static_Metadata_Descriptor_ID.
     */
    unsigned char metadata_type;
    /**
     * @display_primaries: Color Primaries of the Data.
     * These are coded as unsigned 16-bit values in units of
     * 0.00002, where 0x0000 represents zero and 0xC350
     * represents 1.0000.
     * @display_primaries.x: X cordinate of color primary.
     * @display_primaries.y: Y cordinate of color primary.
     */
    struct {
        unsigned short x, y;
    } display_primaries[3];
    /**
     * @white_point: White Point of Colorspace Data.
     * These are coded as unsigned 16-bit values in units of
     * 0.00002, where 0x0000 represents zero and 0xC350
     * represents 1.0000.
     * @white_point.x: X cordinate of whitepoint of color primary.
     * @white_point.y: Y cordinate of whitepoint of color primary.
     */
    struct {
        unsigned short x, y;
    } white_point;
    /**
     * @max_display_mastering_luminance: Max Mastering Display Luminance.
     * This value is coded as an unsigned 16-bit value in units of 1 cd/m2,
     * where 0x0001 represents 1 cd/m2 and 0xFFFF represents 65535 cd/m2.
     */
    unsigned short max_display_mastering_luminance;
    /**
     * @min_display_mastering_luminance: Min Mastering Display Luminance.
     * This value is coded as an unsigned 16-bit value in units of
     * 0.0001 cd/m2, where 0x0001 represents 0.0001 cd/m2 and 0xFFFF
     * represents 6.5535 cd/m2.
     */
    unsigned short min_display_mastering_luminance;
    /**
     * @max_cll: Max Content Light Level.
     * This value is coded as an unsigned 16-bit value in units of 1 cd/m2,
     * where 0x0001 represents 1 cd/m2 and 0xFFFF represents 65535 cd/m2.
     */
    unsigned short max_cll;
    /**
     * @max_fall: Max Frame Average Light Level.
     * This value is coded as an unsigned 16-bit value in units of 1 cd/m2,
     * where 0x0001 represents 1 cd/m2 and 0xFFFF represents 65535 cd/m2.
     */
    unsigned short max_fall;
};

3. GStreamer 和 DRM 的集成

将 GStreamer 解析的 HDR 元数据传递给 DRM 显示模块，可以通过自定义 GStreamer 插件或应用程序逻辑实现。

3.1 自定义 GStreamer 插件

编写一个 GStreamer 插件，解析 HDR 元数据并通过 DRM API 设置到显示模块。

示例插件代码
#include <gst/gst.h>
#include <xf86drm.h>
#include <xf86drmMode.h>

static void set_hdr_metadata(int fd, uint32_t connector_id, uint32_t blob_id) {
    drmModeObjectSetProperty(fd, connector_id, DRM_MODE_OBJECT_CONNECTOR,
                             DRM_MODE_PROP_HDR_METADATA, blob_id);
}

static GstFlowReturn transform_ip(GstBaseTransform *trans, GstBuffer *buf) {
    // 解析 HDR 元数据
    GstVideoMeta *meta = gst_buffer_get_video_meta(buf);
    if (meta && meta->hdr_metadata) {
        // 设置 HDR 元数据到 DRM
        int fd = drmOpen("card0", NULL);
        if (fd < 0) {
            GST_ERROR("Failed to open DRM device");
            return GST_FLOW_ERROR;
        }

        uint32_t blob_id;
        drmModeCreatePropertyBlob(fd, meta->hdr_metadata, sizeof(*meta->hdr_metadata), &blob_id);
        set_hdr_metadata(fd, connector_id, blob_id);

        drmClose(fd);
    }

    return GST_FLOW_OK;
}

static gboolean plugin_init(GstPlugin *plugin) {
    return gst_element_register(plugin, "hdr_drm_sink", GST_RANK_NONE, GST_TYPE_BASE_TRANSFORM);
}

GST_PLUGIN_DEFINE(
    GST_VERSION_MAJOR,
    GST_VERSION_MINOR,
    hdr_drm_sink,
    "HDR DRM Sink",
    plugin_init,
    "1.0",
    "LGPL",
    "GStreamer",
    "<https://gstreamer.freedesktop.org>"
)

transform_ip：在视频帧处理期间解析 HDR 元数据并设置到 DRM。
plugin_init：注册自定义插件。

3.2 使用 GStreamer 应用程序

在 GStreamer 应用程序中解析 HDR 元数据，并通过 DRM API 设置到显示模块。
示例应用程序代码

#include <gst/gst.h>
#include <xf86drm.h>
#include <xf86drmMode.h>

static void on_pad_added(GstElement *element, GstPad *pad, gpointer data) {
    GstPad *sinkpad = gst_element_get_static_pad(element, "sink");
    gst_pad_link(pad, sinkpad);
    gst_object_unref(sinkpad);
}

int main(int argc, char *argv[]) {
    gst_init(&argc, &argv);

    GstElement *pipeline = gst_pipeline_new("hdr-pipeline");
    GstElement *src = gst_element_factory_make("filesrc", "src");
    GstElement *demux = gst_element_factory_make("qtdemux", "demux");
    GstElement *parse = gst_element_factory_make("h265parse", "parse");
    GstElement *decode = gst_element_factory_make("avdec_h265", "decode");
    GstElement *sink = gst_element_factory_make("autovideosink", "sink");

    gst_bin_add_many(GST_BIN(pipeline), src, demux, parse, decode, sink, NULL);
    gst_element_link_many(src, demux, parse, decode, sink, NULL);

    g_signal_connect(demux, "pad-added", G_CALLBACK(on_pad_added), parse);

    gst_element_set_state(pipeline, GST_STATE_PLAYING);

    GstBus *bus = gst_element_get_bus(pipeline);
    GstMessage *msg = gst_bus_timed_pop_filtered(bus, GST_CLOCK_TIME_NONE, GST_MESSAGE_ERROR | GST_MESSAGE_EOS);

    if (msg != NULL) {
        gst_message_unref(msg);
    }

    gst_object_unref(bus);
    gst_element_set_state(pipeline, GST_STATE_NULL);
    gst_object_unref(pipeline);

    return 0;
}

4. 小结

使用 GStreamer 解析视频流中的 HDR 元数据。

通过 DRM API 将 HDR 元数据设置到显示模块。

可以通过自定义 GStreamer 插件或应用程序逻辑实现 HDR 元数据的传递和显示配置。