linphone mediastream2 分析-双向录音机

最新推荐文章于 2025-10-26 10:51:06 发布

原创最新推荐文章于 2025-10-26 10:51:06 发布 · 8.3k 阅读

12 ·

CC 4.0 BY-SA版权

Linux 同时被 3 个专栏收录

175 篇文章

订阅专栏

VoIP

10 篇文章

订阅专栏

SNMP development

3 篇文章

订阅专栏

本文详细介绍了基于linphone的轻量级voip客户端，如何利用mediastream2架构实现双向录音功能，包括初始化音频流、启动和结束录音的过程。

(转载请标明出处，请勿用于商业用途)

http://blog.youkuaiyun.com/linux_embedded/article/details/8957482

linphone是一个轻量级voip客户端，linphone的架构设计十分的清晰，其底层音视频引擎mediastream2是一个独立的模块，基于它可以很容易的实现各种音视频的应用没。本文中所说的linphone 双向录音功能就是基于mediastream2架构的。

linphone 整体架构

linphone拥有自己的用户接口和核心引擎(音频/视频引擎)，允许在相同的函数基础上建立不同的用户接口。

用户接口

GTK+用户接口

命令行接口(linphonec, linphonecsh)

iPhone用户接口(基于objective C)

基于Java实现的Andorid应用

liblinphone，核心引擎。提供了高度容易扩展的函数接口，它是一个功能强大的SIP VOIP SDK，我们可以基于该框架实现任意的语音/视频应用。liblinphone基于下列组件实现：

mediastream2，功能强大的音/视多媒体SDK，用于创建和处理音/视流

oRTP,简单的RTP处理库

eXosip，SIP UA 库，其基于libosip2实现

linphone和liblinphone都是使用C语言实现的，下面为linphone的整体结构。

mediastream2实现机制

mediastream2功能强大，体积小，特别适合嵌入式设备的音视频流的处理。mediastream2为一个独立的处理音视频流的库，它能够完成关于音视频流的捕获、接收、发送、编码、解码、翻译等功能，基于它可以实现各种音视频的应用。下面为mediastream2具体

特性：

可以捕获、重放多种基于各种音频架构(ALSA, AudioUnits, AudioQueue, WaveApi)的音频流。
接收、发送RTP数据包。
支持多种音视频编码方式：audio：speex, G711, GSM, iLBC, AMR, AMR-WB, G722, SILK, G729； video： H263, theora, MPEG4, H264 and VP8.
支持音频的wav格式文件的读取和保存。
捕获摄像头的YUV图片格式，并对其以优化。
立体声输出。
回声消除，基于speex回声消除机制(webrtc AEC机制)。
支持音频会议，支持音频参数均衡。
音量控制。
具有IEC NAT穿越动能。
自动比特率控制算法：基于RTCP反馈信息。

H264, ILBC, SILK, AMR, AMR-WB and G729是以插件的形式整合到mediastream2架构中去的。

设计：

mediastream2中每一个处理过程实体都被定义为一个MSFilter结构，每一个MSFiter有一个(若干个)输入和一个(若干个)输出，通过输入、输出将各个实体连接起来。下面为一个简单的例子：
MSRtpRecv --> MSSpeexDec --> MSFileRec
MSRtpRecv：接收网络上的数据包、解包，并将它们输出到下一个Filter。
MSSpeexDec：假设音频解码器为speex，它会decode音频数据包，并作为声卡播放filter或wav文件保存filter的输入。
MSFileRec:将语音数据保存为wav格式的文件(输入确保为：Linear 16 pcm格式)

负责调度的对象为MSTicker，它一个独立的线程，其每10ms被唤醒一次，然后它会处理他所管理的媒体链的数据。可以有多个MSTicker同时运行吗，例如，处理音频的Ticker和处理视频的Ticker

，或者不同的处理器中会运行不同的Ticker。

利用mediastream2的Filter机制，我们可以很容易的实现我们需要的功能，我们也可以很容易的基于Filter机制扩展自己需要的功能。双向录音功能就是基于Tee和MSFileRec两个Filter实现的。

linphone双向录音功能实现方案

基于mediastream2的音频处理架构，利用Tee和MSFileRec嵌入到的音频处理流程中，实现linphone的双向录音功能。录音分为发送和接收两个处理流程。下面分别为两个处理流程：

发送过程录音：

2. 接收过程录音：

代码实现

mediastream2录音功能处理流程如下：

按照上面的流程图，主要分为音频处理初始化、开始录音、结束录音几部分介绍一下具体的实现。

音频流初始化

mediasream2中音频流处理初始化都是在函数audio_stream_start_full完成的，我们需要把Tee、FileRec两个Filter加入到音频处理过程中，并对他们做一些必要的初始化工作，例如，设置wav保存时的sample rate等。下面是我们需要添加的处理：

修改数据结构struct _AudioStream，添加Recv_Tee、Snd_Tee、Recv_FileRec、Snd_FileRec

struct _AudioStream{

MSFilter *Recv_Tee;

	MSFilter *Snd_Tee;

	MSFilter *Recv_FileRec;

	MSFilter *Snd_FileRec;

};

创建、初始化Recv_Tee、Snd_Tee、Recv_FileRec、Snd_FileRec

//创建Filters

stream->Recv_Tee = ms_filter_new(MS_TEE_ID);
stream-Snd_Tee  = ms_fiter_new(MS_TEE_ID);
stream->Recv_FileRec = ms_filter_new(MS_FIlE_REC_ID);
stream->Snd_FileRec = ms_filter_new(MS_FILE_REC_ID);

//Set Filters

ms_filter_call_method(stream->Recv_FileRec, MS_FILTER_SAMPLE_RATE, &sample_rate);//设置wav文件采样率

ms_filter_call_method(stream->Snd_FileRec, MS_FILETER_SAMPLE_RATE, &sample_rate);

//add Revc_Tee、FileRec to receive graph

ms_connection_help_link(&h, encoder , 0 ,0);

ms_connection_help_link(&h , stream->Recv_Tee , 0 , 1);

	ms_filter_link(stream->Recv_Tee , 0 , stream->Rec_FileRec , 0);

//add Snd_Tee、FileRec to send graph

ms_connection_help_link(&h , decoder , 0 , 0);

ms_connection_help_link(&h, stream->Snd_Tee , 0 , 1);

	ms_filter_link(stream->Snd_Tee , 0 , stream->FileRec , 0);

ms_conncetion)_help_link(&h , stream->sound_write ,0 ,-1);

启动录音

一般在 linphone中，当一个会话建立成功，就会创建处理音频流Filter链，这时就会调用形如audio_stream_record()的函数录音，此函数有一个参数为wav文件的保存路径和文件名。
ms_filter_call_method_noarg(st->soundwrite,MS_FILE_REC_CLOSE); 
ms_filter_call_method(st->soundwrite,MS_FILE_REC_OPEN,(void*)filename);
ms_filter_call_method_noarg(st->soundwrite,MS_FILE_REC_START); 
本文创建了两个函数:audio_stream_recv_rcord()、audio_stream_snd_record()分别用来处理两个方向的录音。

结束录音

当通话结束时，linphone会自动结束录音，并释放Filters占用的资源。此项工作在audio_stream_stop中完成。
ms_filter_call_method_noarg(stream->Recv_FileRec , MS_FILE_REC_SOTP);
ms_filter_call_method_noarg(stream->Snd_FileRec , MS_FILE_REC_STOP);
ms_connection_help_unlink(&h , stream->Recv_Tee , 0 , 1);
ms_conncetion_help_unlink(&h , stream->Recv_FileRec , 0 ,0);
ms_connection_help_unlink(&h , stream->Snd_Tee , 0 ,1);
ms_filter_unlink(stream->Snd_Tee , 0 , stream_FileRec , 0);
如上就是linphone的双向录音功能实现的整个过程，该方法具有一定的通用性，在其他的一些VoIP或音频处理应用中我们同样可以利用该方案实现录音功能。