Freeswitch和微信小程序对接

原创 已于 2022-07-07 16:32:56 修改 · 3.3k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#微信小程序 #websocket #语音识别 #音视频

于 2022-06-29 14:12:22 首次发布
本文介绍了微信小程序如何利用RTMP协议与Freeswitch进行音视频通讯，通过创建endpoint模块和结合websocket处理信令，实现了小程序的音视频功能，如在线直播、电话会议等。在开发过程中，由于webrtc接口限制，选择了websocket+rtmp的方式，解决了回声处理和信令通讯的问题。

   由于微信小程序具备免安装和使用方便等特点，受到越来越多公司的青睐;

   微信小程序是2017年腾讯视频云团队跟微信团队联合，将视频云 SDK 跟微信小程序整合在一起，并通过 <live-pusher> 和 <live-player> 两个标签的形式开放内部的功能。通过这两个标签，开发者可以实现在线直播、低延时监控、双人视频通话以及多人视频会议等功能。

最低0.47元/天 解锁文章
【FreeSwitch开发实践】FreeSwitch配置wss
xiao2macf的专栏
06-16 8373
freeswitch 配置websocket, ws/wss，默认端口7443
更新FreeSWITCH的Web管理端
08-08
FreeSWITCH提供了一个xml_rpc组件，支持用Web的方式管理FreeSWITCH。但是功能相当有限。因此我在这里做了一点小的扩展，允许执行CLI命令行，并且获得结果。 需要把文件解压缩、覆盖htdocs下的portal目录。 需要FreeSWITCH已经加载mod_xml_rpc 然后就可以通过http://:8080/portal打开管理页面。 建议通过官方文档了解mod_xml_rpc的配置方法。
uniapp+微信小程序+仿微信视频聊天+点击小窗切换+全屏拖动小窗（live-player+live-pusher）+完整代码
apple_70049717的博客
03-04 1844
实时音视频播放，也称直播拉流，通俗的解释一下就是就是接受聊天对面视频的容器，你和朋友在微信小程序里视频聊天，你的手机需要。如果你是app不是使用 live-player，而是直接使用 video 组件。这块也就是把你摄像头对着的内容（自拍的话就是你自己）推到服务器上。主要是使用live-player、live-pusher。url就是推流地址，还有什么美颜啥的看文档即可。实时音视频录制，也称直播推流。这个是大屏 big-box。：定义可拖动的区域，内部包含。，然后播放出来，这就是。内部自由拖动的组件。
freeswitch rtmp 小程序实现sip通话构想
Java_lilin的专栏
12-08 1865
小程序实现sip通话
freeswitch 推送rtmp_mod_rtmp
weixin_39575212的博客
12-22 905
Aboutmod_rtmp is an RTMP(Real time media protocol) endpoint for FreeSWITCH (similar to mod_sofia for example). The RTMP protocol is primarily used by Flash for streaming audio, video, and data over t...
FreeSWEIXIN:FreeSWITCH和微信
05-12
FreeSWEIXIN FreeSWITCH和微信
基于FreeSWITCH 实现语音的形式向大模型提问，语音机器人回答，与灵积大模型对接 通义千问
qq_52528295的博客
11-02 1889
这个项目是使用java 代码实现与灵积大模型对接，实现机器人问答功能。可以直接去github 上下载代码，填写apikey redis 账号密码等相关信息。
FreeSwitch
weixin_30402343的博客
02-24 88
http://www.freeswitch.org.cn/2010/04/30/freeswitch-zhong-wen-wen-dang.html //FreeSwitch 文档 FreeSwitch的配置安装，怎么启动，怎么关闭，怎么加入用户， 转载于:https://www.cnblogs.com/wudizbb/p/3565224.html...
网页版调用FreeSWITCH(FreeSWITCH-demo-V1.0.1.zip)
07-17
启动FreeSWITCH后端服务。设置IP，账号，密码。双击网页启动，即可进行SIP拨号通话。 原帖链接：https://download.youkuaiyun.com/download/hzc83hzc/10963423 由于原帖分数过多（系统会随着下载次数自动变更分数），特开新帖。
EasyRTC音视频通话SDK：利用WebRTC技术在微信、小程序中构建实时音视频通信
AI与流媒体视频技术
03-12 2501
小程序原生不支持WebRTC，需依赖微信提供的VOIP通话插件实现音视频能力。
freeswitch源码
03-12
freeswitch最新代码.................................................................................
freeswitch网页端处理
04-22
网页端实现电话接听 网页端实现电话接听Api
精选资源
freeswitch对接讯飞语音识别模块
04-09
本文将详细介绍如何在Freeswitch中对接讯飞的语音识别模块，以及这个过程中涉及的相关知识点。 首先，我们需要了解Freeswitch的模块化架构。Freeswitch支持通过加载模块来扩展其功能，"mod_xfasr"就是这样一个模块...
freeswitch对接google的语音识别和语音合成例子
03-28
实现Freeswitch对接Google语音服务的关键步骤包括： 1. **配置认证**：为了使用Google的API，首先需要在Google Cloud Console中创建项目并启用相关的语音识别和语音合成API。然后，生成API密钥或设置服务账户，确保...
无线设备（插手机卡）与freeswitch的互通
irizhao的专栏
11-16 1952
先登录192.168.11.1 admin、admin 修改为自动获取IP，DNS 呼叫配置： SIP中继配置（自动编号，这里是31）： 端口配置：排石没个手机卡的动作，注册的SIP号码、注册到的SIP服务器（上面那个编号，这里是31），增益放大声音，呼往VOIP热线就是给SIP服务器送的呼入号码，这里填写，并在SIP服务器的C:\Program Files\FreeSWITCH\conf\dialplan\default.xml配置呼入规则，reloadxml启用。 T...
FreeSWITCH（一）
weixin_33743661的博客
11-10 316
今年五六月份开始接触FreeSWITCH（下面用FS代替），九月份开始正式学习，学习过程中，大部分时间自学，也学习过杜金房老师的视频。因为关于FS的学习资料比较少，开始的时候还是挺迷茫和痛苦的。走过弯路，慢慢的才开始进入状态，对FS有了一些基本认识，但是还需要深入学习。 相关的学习网站和书籍 官方帮助文档：https://freeswitch.org/confluence/display/FRE...
基于声网的音视频SDK和FreeSWITCH开发WebRTC到SIP的网关报文设计
syntax_bug719的博客
09-21 208
在本文中，我们讨论了如何基于声网的音视频SDK和FreeSWITCH开发WebRTC到SIP的网关报文设计。通过使用声网的音视频SDK和FreeSWITCH，我们可以实现WebRTC和SIP之间的互通，从而实现音视频通信的功能。在报文中，"type"字段用于标识报文类型，"from"字段表示发起方的标识，"to"字段表示接收方的标识，"sdp"字段用于传输SDP（Session Description Protocol）数据。我们将介绍报文的设计和实现，以便实现WebRTC和SIP之间的互通。
CabloyJS的微信API对接模块：当前支持微信公众号和微信小程序
zhennann的博客
01-01 273
Cabloy-微信是什么 Cabloy-微信是基于CabloyJS全栈业务开发框架开发的微信接口模块，当前整合了微信公共号和微信小程序的接口，达到开箱即用的使用效果。在Cabloy-微信的基础上，可以很方便的开发各类微信业务系统 特性 基于CabloyJS全栈框架提供的便利性和灵活性，Cabloy-微信主要有如下特性: 1. 一站式整合 当前整合了微信公共号和微信小程序的接口，具体如下： ...
FreeSwitch通过WebRTC实现语音通话
精益求精
08-27 2676
FreeSwitch使用WebRTC 实现网页通话，本文主要使用JSSIP库，开发编写网页软电话的呼叫和接听实现。本文主要包括：FS的WebRTC配置和前端代码实现。
freeswitch unimrcp lua脚本实现对接asr
最新发布
04-25
### 实现 FreeSWITCH 通过 UniMRCP 使用 Lua 脚本对接 ASR FreeSWITCH 是一个开源的电信级软交换平台，支持多种协议和功能扩展。UniMRCP 是一种用于语音识别 (ASR) 和语音合成 (TTS) 的客户端库。要实现 FreeSWITCH 通过 UniMRCP 使用 Lua 脚本对接自动语音识别 (ASR)，可以按照以下方式设计脚本。 #### 配置环境 在配置之前，确保已经安装并正确设置了 FreeSWITCH 和 UniMRCP 客户端。以下是必要的配置项： 1. **设置目录结构** ```lua sounds_dir = "/usr/local/freeswitch/sounds" recordings_dir = "/usr/local/freeswitch/recordings" ``` 2. **数据库连接信息** 如果需要存储会话数据或其他元数据，则需定义数据库参数： ```lua db_type = "mysql" db_name = "opensips" dsn_name = "opensips" dsn_username = "opensips" dsn_password = "mydbpassword" ``` 3. **临时目录** 可选地指定一个临时工作目录来处理录音文件或中间结果： ```lua tmp_dir = "/tmp/freeswitch_unimrcp_asr" os.execute("mkdir -p "..tmp_dir) ``` #### 示例 Lua 脚本 下面是一个简单的 Lua 脚本示例，展示如何通过 UniMRCP 进行 ASR 处理： ```lua -- 加载模块 local mod_mrcp_client = require "mod_mrcp_client" function on_init(session) session:answer() -- 设置 MRCP 参数 local mrcp_params = { server_ip = "127.0.0.1", -- 替换为实际的 UniMRCP 服务器 IP 地址 server_port = 8060, -- 默认 UniMRCP 端口 resource_id = "asr/en_US" -- 替换为目标语言模型 ID } -- 开始录制音频 session:speak("Please say something.") local record_file = tmp_dir .. "/" .. tostring(os.time()) .. ".wav" session:setVariable("record_file", record_file) session:execute("record", {file_path=record_file}) -- 发送音频到 UniMRCP 并获取响应 local result = mod_mrcp_client:start(mrcp_params, record_file) if not result then session:streamFile("silence_stream://500") -- 播放静音表示失败 return end -- 输出识别结果 session:say(result.text) -- 将识别文本反馈给用户 end ``` 此脚本的功能如下： - 初始化会话并应答呼叫。 - 提示用户发言，并记录用户的输入至 WAV 文件[^1]。 - 利用 `mod_mrcp_client` 模块将录音发送到 UniMRCP 服务进行 ASR 处理[^2]。 - 获取识别结果并将结果显示给用户。 #### 注意事项 - 确保 UniMRCP 服务器已启动并与 FreeSWITCH 正确通信。 - 录制的音频格式必须与 UniMRCP 支持的格式兼容（通常为 PCM 编码 WAV 文件）。 - 自定义资源 ID (`resource_id`) 应匹配目标语言模型的实际名称。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值