Linphone3.5.2 ARM RV1109音视频对讲开发记录

hi_LeTian

已于 2023-09-16 22:07:59 修改

阅读量1k

点赞数

文章标签：音视频

于 2023-09-16 21:04:54 首次发布

本文链接：https://blog.youkuaiyun.com/jhting/article/details/132924856

版权

Linphone3.5.2 ARM RV1109音视频对讲开发记录

说明

这是一份事后记录，主要记录的几个核心关键点，有可能很多细节没有记上，主要是方便后面自己再找回来!

版本 3.5.2

一些原因选的是这样一个旧的版本！
新的开发最好选新一些的版本吧, 像 4.5, 4.2, 3.8 这一类的!

因为之前没有开发过Linphone的应用，所以对整个框架不了解，一头雾水！上网找了比较多的资料！

因为只是事后记录,下面记录一下核心的操作，为后面其他需要对接的开发人员指示一下操作的路线吧!

前前后后，自己花了接近两周的时间，对这个框架大体了解了！
所以认为下面的实现是比较合适的方案了!最小的改动了Linphone框架代码，把音视频的实现都是放在APP应用中了。
在处理音频的3A算法，视频编解码都与Linphone无关，也不需要Linphone在编译时来链接应用平台对接的库。

整体应用概述

我的主板是RV1109，人脸平板产品，做为社区的门口、门栋机！需要呼叫室内分机或物业电话机!

在Linphone中有实现音视频的标准的处理，但往往在嵌入式平台上处理音视频上又是不标准的!各个厂家的方式
又不标准，比如很多嵌入式平台上默认上就不支持ALSA，视频也没有走V4L2的框架，编解码都有自己的SDK实现
这时就需要自己实现Linphone低层的一些音视频处理设备!

如在这个平台上即是自己实现的音视频处理逻辑!

定义msfilterID

在枚举类中:typedef enum MSFilterId,定义我们自己的音频及视频ID

typedef enum MSFilterId
	...
	...
	MS_H264Stream_CUS_ID,
	MS_H264_ENC_CUS_ID,
	MS_H264_DEC_CUS_ID,
} MSFilterId;

编写对应的音视频设备

针对上面定义的 MS_H264Stream_CUS_ID , MS_H264_ENC_CUS_ID, MS_H264_DEC_CUS_ID 这几个filter，我们需要对应的加以实现!

用户自定义的filter，mediastreamer2里提供了相应的注册函数，这一部分代码不需要写到linphone里去，所以我们写在我们自己的应用APP中即可！

对针音频的:

音频设备上linphone里本身也有ALSA的实现，但我们自己使用了ALSA的混音配置，有一些差异，同时对音频数据在发送前需要做3A处理，消回声，去噪这些，
如果把这部分代码写到linphone中去就比较麻烦.为了方便，还是自己在应用中实现对音频的处理，同时很多ARM嵌入式主板，可能并没有提供ALSA接口的适配，
所以很多时候，还是自己实现一个MSSndCardDesc简单.

具体声明如下，各个方法的实现，只要看看mediastreamer2中的ALSA实现，简单对照实现即可!

	MSSndCardDesc alsa_card_desc={
		.driver_type="ALSA",
		.detect=alsa_card_detect,
		.init=alsa_card_init,
		.set_level=alsa_card_set_level,
		.get_level=alsa_card_get_level,
		.set_capture=alsa_card_set_source,
		.set_control=NULL,
		.get_control=NULL,
		.create_reader=alsa_card_create_reader,
		.create_writer=alsa_card_create_writer,
		.uninit=alsa_card_uninit,
		.duplicate=alsa_card_duplicate,
		.unload = NULL
	};

	bool Linphone_AlsaMSFilter::linphone_Alsa_init()
	{

		static MSSndCardManager *cm = NULL;

		if(cm)
		{
			return true;
		}

		cm = ms_snd_card_manager_get();
		ms_snd_card_manager_register_desc(cm, &alsa_card_desc);

		return true;
	}

对针视频的:

因为视频是通过硬件的处理的，像RV1109，海思等方案都是调用硬编解码，所以不管是接收到视频流，还是发送视频流，
linphone只要负责收到或发送H264这样的流，并不负责编解码
所以这里需要把mediaStreamer2中的编解码及视频设备源处理一下。分别实现自己的编解码器及视频源设备!
具体的实现，就在各个方案上不同的! 基本定义如下!

	//定议两个并不需要的编解码器，这是应为我没有编译FFMPEG进来!
	MSFilterDesc ms_h264_enc_desc={
		.id=MS_H264_ENC_CUS_ID,
		.name="MSh264EncCus",
		.text=("A video H264 encoder using ffmpeg library."),
		.category=MS_FILTER_ENCODER,
		.enc_fmt="H264",
		.ninputs=0, /*MS_YUV420P is assumed on this input */
		.noutputs=0,
		.init=enc_h264_init,
		.preprocess=enc_preprocess,
		.process=enc_process,
		.postprocess=enc_postprocess,
		.uninit=enc_uninit,
		.methods=methods,
		.flags = 0,
	};
	
	MSFilterDesc ms_h264_dec_cus_desc={
		.id=MS_H264_DEC_CUS_ID,
		.name="MSH264DecCus",
		.text="A H264 decoder based on ffmpeg project.",
		.category=MS_FILTER_DECODER,
		.enc_fmt="H264",
		.ninputs=1,
		.noutputs=1,
		.init=dec_init,
		.preprocess=NULL,
		.process=dec_process,
		.postprocess=NULL,
		.uninit=dec_uninit,
		.methods=h264_dec_methods,
		.flags=0
	};

	
	//在一个合适的地方注册filter
	ms_filter_register(&ms_h264_dec_cus_desc);
	
	ms_filter_register(&ms_h264_enc_desc);
	
	
	//定义真正传输H264视频的Filter
	MSFilterDesc ms_h264Stream_desc={
		.id=MS_H264Stream_CUS_ID,
		.name="MSH264StreamReadCus",
		.text="Ms H264 Stream read source Cus",
		.category=MS_FILTER_OTHER,
		.enc_fmt = NULL,
		.ninputs=0,
		.noutputs=1,
		.init=h264Stream_read_init,
		.preprocess=h264Stream_read_preprocess,
		.process=h264Stream_read_process,
		.postprocess=h264Stream_read_postprocess,
		.uninit=h264Stream_read_uninit,
		.methods=h264Stream_read_methods,
		.flags=0
	};
	
	//初始化注册filter
	bool Linphone_h264msfilter::Linphone_h264msfilter_init()
	{
		 static MSWebCamManager* pMSWebCamManager= ms_web_cam_manager_get();

		 if(!pMSWebCamManager)
		 {
			 return true;
		 }

		 ms_web_cam_manager_register_desc(pMSWebCamManager, &ms_h264Stream_card_desc);

		return true;
	}

几个关健点的修改

视频处理的一个基本流:

linphone_core_update_streams->linphone_call_start_media_streams->linphone_call_start_video_stream->video_stream_start

linphone_call_start_video_stream 这个过程中有对视频源对像的更新(vstream)

创建VIDEO对应的filter及前后关系设置

videostream.c:video_stream_start
ms_filter_link

设备的的摄像头数据是已经经过编码成H264的数据了修改 video_stream_start 中的ms_filter_link配置从数据源直接指向RTP

	if(stream->source->desc->id == MS_H264Stream_CUS_ID)
	{
		ms_filter_link (stream->source, 0, stream->rtpsend, 0);			
	}
	else
	{
		ms_filter_link (stream->source, 0, stream->pixconv, 0);
		ms_filter_link (stream->pixconv, 0, stream->sizeconv, 0);
		ms_filter_link (stream->sizeconv, 0, stream->tee, 0);
		ms_filter_link (stream->tee, 0 ,stream->encoder, 0 );
		ms_filter_link (stream->encoder,0, stream->rtpsend,0);
		
		if (stream->output2){
			if (stream->preview_window_id!=0){
				ms_filter_call_method(stream->output2, 
					MS_VIDEO_DISPLAY_SET_NATIVE_WINDOW_ID,&stream->preview_window_id);
			}
			
			ms_filter_link(stream->tee,1,stream->output2,0);
		}
	}

在这个文件中有好几处都需要对应的修改 ms_filter_link 关系，这里不一一列出了，都是在这个文件里了!