freeswitch实现ai客服构想

原创

已于 2025-01-08 17:36:52 修改 · 846 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#开源软件

于 2024-12-26 10:54:16 首次发布

目标：

想实现一个ai客服，ai客服能根据客户反馈的语音信息自动生成回话语音，并且ai回话中能进行打断.

大体流程客户语音rtp经静音检测(vad)算法检测为非静音后，发送到asr进行识别，asr识别后生成回话文本，回话文本经tts后转成回话语音，回话语音在通过uuid_displace方式播放给客户听，客户可随时打断ai回话。

首先，你需要更新你的系统。打开终端并运行以下命令：

sudo apt update
sudo apt upgrade

FreeSwitch有一些依赖项需要安装。运行以下命令来安装它们：

sudo apt install -y git autoconf automake libtool g++ gawk libncurses5-dev libtiff5-dev libperl-dev libgdbm-dev libdb-dev gettext libssl-dev libcurl4-openssl-dev libpcre3-dev libspeexdsp-dev libldns-dev libedit-dev libopus-dev yasm liblua5.2-dev libsndfile1-dev libusb-1.0-0-dev python-dev python3-dev libasound2-dev libsqlite3-dev libpq-dev

需下载编译安装的一些必要依赖包

libks
signalwire-c
sofia-sip
spandsp

克隆FreeSwitch的源代码

sudo git clone https://github.com/signalwire/freeswitch.git

编译和安装

cd /usr/src/freeswitch
sudo ./bootstrap.sh -j
sudo ./configure
sudo make
sudo make install

配置FreeSwitch

sudo make cd-sounds-install cd-moh-install
sudo cp /usr/src/freeswitch/conf/vanilla /usr/local/freeswitch/conf


sudo groupadd freeswitch
sudo adduser --disabled-password  --quiet --system --home /usr/local/freeswitch --ingroup freeswitch --gecos "FreeSWITCH Voice Platform" freeswitch
sudo chown -R freeswitch:freeswitch /usr/local/freeswitch/
sudo chmod -R u=rwX,g=rX /usr/local/freeswitch/

修改配置文件/freeswitch/conf/vars.xml

  <X-PRE-PROCESS cmd="set" data="internal_auth_calls=true"/>
  <X-PRE-PROCESS cmd="set" data="internal_sip_port=5070"/>
  <X-PRE-PROCESS cmd="set" data="internal_tls_port=5071"/>
  <X-PRE-PROCESS cmd="set" data="internal_ssl_enable=true"/>

  <X-PRE-PROCESS cmd="set" data="external_auth_calls=true"/>
  <X-PRE-PROCESS cmd="set" data="external_sip_port=5080"/>
  <X-PRE-PROCESS cmd="set" data="external_tls_port=5081"/>
  <X-PRE-PROCESS cmd="set" data="external_ssl_enable=true"/>

通过internal_sip_port/internal_tls_port指定内网服务端口(当5060被占用时，可以指定其他端口)
，如果external_ip和local_ip一样，external_si