用gstreamer实现照相机功能

最新推荐文章于 2025-04-14 08:56:26 发布

拿破仑的海阔天空

最新推荐文章于 2025-04-14 08:56:26 发布

阅读量3.7k

点赞数

分类专栏： gstreamer

gstreamer 专栏收录该内容

19 篇文章

订阅专栏

本文介绍使用GStreamer库实现Camera的照相与录像功能的方法。包括两种照相方案：双管道方式与单管道分路方式；并详细分析了一个复杂的录像管道实例，涵盖视频预览、录像文件生成及缩略图获取等多个环节。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Camera的主要功能是照相和录像，利用gstreamer，我们可以使Camera的实现更加简单。

1、照相照相的实现一般有两种方法：

第一种需要创建两个管道，分别用来预览和照相，

预览管道：

pipeline = gst_parse_launch("v4lsrc name=src ! xvimagesink name=display", &error);

照相管道：

photobin = gst_parse_launch("v4lsrc name=src ! videoscale ! ffmpegcolorspace ! pngenc ! filesink name=photo_sink", &error);

初始时，设置预览管道为播放状态，照相管道为准备状态；

gst_element_set_state (pipeline, GST_STATE_PLAYING);

gst_element_set_state (photobin, GST_STATE_READY);

照相时则反过来，并通过设置filesink的"location"属性来设置图像的保存路径；

gst_element_set_state (pipeline, GST_STATE_READY);

gst_element_set_state (photobin, GST_STATE_PLAYING);

photo_sink = gst_bin_get_by_name (GST_BIN (photobin), "photo_sink");

g_object_set (G_OBJECT (photo_sink), "location", "photo.png", NULL);

第二种方法只需要创建一个管道，把输出通过tee分成两路，一路预览输出，另一路输出到fakesink，照相时通过fakesink的"handoff"事件获取图像buffer。
管道创建如下：

gst-launch v4lsrc ! tee ! queue ! xvimagesink ! queue ! ffmpegcolorspace ! fakesink
管道运行中，需要照相时通过"handoff"获取图像buffer。
image_sink即获取的fakesink。

camera_data->buffer_cb_id = g_signal_connect(G_OBJECT(image_sink), "handoff", G_CALLBACK(buffer_probe_callback), appdata);



static gboolean buffer_probe_callback(

		GstElement *image_sink,

		GstBuffer *buffer, GstPad *pad, AppData *appdata)

{

	unsigned char *data_photo =

	    (unsigned char *) GST_BUFFER_DATA(buffer);



        pixbuf = gdk_pixbuf_new_from_data(data,

			GDK_COLORSPACE_RGB, 

			FALSE, 

			bpp/3, 

			width, height, 

			3*width, 

			NULL, NULL);

        

        gdk_pixbuf_save(pixbuf, filename, "jpeg", &error, NULL)



	g_signal_handler_disconnect(G_OBJECT(image_sink),

			appdata->buffer_cb_id);

	

	return TRUE;

}

2、录像录像部分主要分析一下复杂的录像管道，以及我创建这种管道的目的。

首先看一下管道，此处以freescale的插件举例：
gst-launch v4lsrc capture-width=640 capture-height=480 name=camera-src fps-n=15 ! tee name=vsrc vsrc. ! queue ! ffmpegcolorspace ! timeoverlay ! mfw_v4lsink x11enable=true name=screen-sink vsrc. ! queue ! mfw_vpuencoder codec-type=7 framerate=15 ! avimux name=mux ! filesink location=movie.avi sync=true alsasrc provide-clock=false ! queue ! taginject tags=/"title=camerarecorder/" ! mfw_mp3encoder ! mux. vsrc. ! queue ! fakesink name=screen-shot
此处从Sensor出来的数据分为3路，分别为预览输出，录像文件生成和缩略图的获取。

预览输出为ffmpegcolorspace ! timeoverlay ! mfw_v4lsink，此处需要加上timeoverlay，目的是为了在录像的过程中可以在录像的图像上显示时间信息。
录像文件的生成包括了声音和视频，mfw_vpuencoder codec-type=7 framerate=15 ! avimux name=mux ! filesink location=movie.avi sync=true alsasrc provide-clock=false ! queue ! taginject tags=/"title=camerarecorder/" ! mfw_mp3encoder ! mux.。
此处可以通过taginject向录像文件中添加TAG信息，当然tag信息包括很多种，比如artist，genre，album，comment等，都可以加进去。
当我们出现丢弃audio sample的问题时，可以通过provide-clock=false来解决。
获取缩略图是通过设置fakesink的"signal-handoffs"为TRUE，随后利用"handoff"来获取图像buffer。