FunASR会议记录系统：多人对话实时转写与整理
项目地址: https://gitcode.com/gh_mirrors/fu/FunASR 在现代办公中，会议记录是信息传递和决策追踪的重要环节，但传统人工记录方式存在效率低、易遗漏、实时性差等痛点。FunASR作为阿里巴巴通义实验室开源的语音识别工具包，通过集成语音端点检测（VAD）、说话人分离、实时转写等技术，可快速构建多人对话实时转写与整理系统，解决会议记录的核心难题。
系统架构与核心功能
FunASR会议记录系统基于"语音前端处理-说话人分离-实时转写-文本整理"的全链路设计，核心模块包括：
关键技术组件
- 语音端点检测（VAD）：采用fsmn-vad模型实现高精度语音活动检测，自动切分长音频为有效语音片段，支持实时流式处理。
- 说话人分离：通过cam++模型实现说话人嵌入提取与聚类，支持多人对话场景下的说话人标签分配。
- 实时语音转写：基于paraformer-zh-streaming模型实现低延迟语音转文字，600ms粒度实时出字，兼顾准确率与流畅性。
- 文本后处理：集成ct-punc标点恢复模型和逆文本正则化（ITN），输出带标点、格式规范的会议文本。
快速部署指南
环境准备
# 克隆仓库
git clone https://gitcode.com/gh_mirrors/fu/FunASR && cd FunASR
# 安装依赖
pip3 install -U funasr modelscope
启动实时会议转写服务
使用中文实时语音听写服务（CPU版本）部署流式转写服务：
# 启动服务
cd runtime
bash run_server.sh --type online --model paraformer-zh-streaming --vad_model fsmn-vad --punc_model ct-punc
服务部署详细参数可参考中文实时语音听写服务文档。
核心功能实现
1. 多人说话人识别
通过加载说话人分离模型，为不同参会者分配唯一标签：
from funasr import AutoModel
# 加载说话人分离模型
model = AutoModel(model="cam++", model_revision="v1.0.0")
# 处理会议音频，输出说话人标签
wav_file = "meeting_recording.wav"
res = model.generate(input=wav_file, output_spk_label=True)
print(res) # 格式: [{"start": 0.5, "end": 3.2, "spk": "SPEAKER_01", "text": "..."}]
模型详情见cam++说话人确认模型。
2. 实时流式转写
通过WebSocket客户端连接转写服务，实现实时文字输出：
# 客户端示例代码
import websocket
import json
ws = websocket.WebSocket()
ws.connect("ws://localhost:10095/funasr/ws/asr")
# 发送音频流
with open("meeting_stream.wav", "rb") as f:
while True:
data = f.read(3200) # 100ms音频帧
if not data:
break
ws.send(json.dumps({"mode": "online", "audio": data.hex()}))
result = ws.recv()
print(json.loads(result)["text"])
客户端实现可参考Websocket协议文档。
3. 会议记录整理
结合时间戳和说话人信息，生成结构化会议纪要：
# 后处理示例（完整代码见examples/industrial_data_pretraining/paraformer/）
from funasr.utils.postprocess_utils import rich_transcription_postprocess
# 转写结果后处理
res = model.generate(input=wav_file, spk_model="cam++", punc_model="ct-punc")
structured_notes = rich_transcription_postprocess(res[0]["text"], with_timestamp=True)
print(structured_notes)
输出格式示例：
[09:30:15] SPEAKER_01: 今天我们讨论新产品发布会的筹备方案。
[09:30:42] SPEAKER_02: 市场部建议增加线上直播渠道，预算需要追加20%。
性能优化与最佳实践
系统调优参数
- 动态batch配置：通过
batch_size_s=60参数控制动态批处理，平衡延迟与吞吐量 - VAD分段策略：设置
max_single_segment_time=30000（30秒）避免长语音内存占用过高 - 热词定制：使用
hotword='产品名称,负责人'参数提升专业术语识别准确率
部署架构建议
- 单机部署：适合小型会议，直接使用中文实时语音听写服务
- 集群部署：大型会议场景建议采用triton_gpu部署方案，支持GPU加速和多实例负载均衡
应用场景扩展
除常规会议记录外，系统还可扩展至以下场景：
- 远程会议实时字幕：集成到Zoom/Teams等会议软件，通过html5客户端实现实时字幕显示
- 访谈内容结构化：配合情感识别模型分析说话人情绪变化，输出带情感标签的访谈记录
- 多语言会议支持：切换paraformer-en模型支持中英双语会议转写
总结与展望
FunASR会议记录系统通过开源工具链与工业级模型的深度整合，为多人对话场景提供了从实时转写到文本整理的全流程解决方案。相比传统记录方式，可提升会议记录效率80%以上，同时降低信息遗漏率。未来随着Qwen-Audio多模态模型的集成，将进一步实现会议内容的智能摘要与行动项提取。
官方文档：docs/tutorial/README_zh.md
服务部署指南：runtime/readme_cn.md
模型仓库：model_zoo/readme_zh.md
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
