On-Device-Speech-to-Speech-Conversational-AI：实时双工语音交流系统

On-Device-Speech-to-Speech-Conversational-AI：实时双工语音交流系统

On-Device-Speech-to-Speech-Conversational-AI This is an on-CPU real-time conversational system for two-way speech communication with AI models, utilizing a continuous streaming architecture for fluid conversations with immediate responses and natural interruption handling. 项目地址: https://gitcode.com/gh_mirrors/on/On-Device-Speech-to-Speech-Conversational-AI

项目介绍

On-Device-Speech-to-Speech-Conversational-AI 是一个创新的实时双工语音交流系统，它通过在设备上运行，实现了即时响应和自然的中断处理，为用户提供流畅的对话体验。该系统完全在本地 CPU 上运行，无需依赖于外部服务器或云服务，保证了隐私和性能。

项目技术分析

该系统采用多线程架构，将多个模型整合在一起，通过队列管理系统确保性能和响应性。整个流程包括以下几个环节：

1. 语音活动检测（Voice Activity Detection）：使用 Pyannote 的模型来检测语音活动，确保准确捕捉用户的发言。
2. 语音识别（Speech Recognition）：采用 Whisper-tiny.en 模型进行语音转文字，准确度高且实时性强。
3. 语言模型（Language Model）：利用 LM Studio/Ollama 的 qwen2.5:0.5b-instruct-q8_0 模型生成自然流畅的响应。
4. 语音合成（Voice Synthesis）：通过 Kokoro-82M 模型实现高质量的语音输出。

系统还引入了基于优先级的文本块处理和前导填充词技术，以进一步减少感知延迟，使对话更加自然。

项目技术应用场景

On-Device-Speech-to-Speech-Conversational-AI 的应用场景广泛，包括但不限于：

• 智能家居控制系统：用户可以通过语音与家庭助手进行交流，控制家电设备。
• 移动设备交互：在智能手机、平板电脑等移动设备上提供实时语音交互体验。
• 车载语音助手：为驾驶者提供语音导航、音乐播放等车辆控制功能。
• 辅助技术：帮助视障或听障人士通过语音进行信息交互。

项目特点

1. 实时性

系统采用连续流式架构，确保了对话的实时性。在 AMD Ryzen 5600G 测试机上，平均响应时间约为1.5秒，为用户提供了类人的交互体验。

2. 高度集成

各个组件独立运行，又通过队列管理系统紧密集成，保证了系统的整体性能和稳定性。

3. 优先级文本块处理

通过自定义的 TextChunker，系统可以优先处理和输出关键信息，从而减少用户感知的延迟。

4. 自然中断处理

系统支持用户在 AI 生成响应时随时中断，使对话更加自然、流畅。

5. 隐私保护

所有数据处理都在本地进行，不涉及外部服务器，有效保护用户隐私。

总结

On-Device-Speech-to-Speech-Conversational-AI 是一个功能强大、应用广泛的实时双工语音交流系统。它不仅为用户带来了便捷的语音交互体验，还通过本地处理保证了数据的安全性和隐私性。无论是智能家居、移动设备还是车载系统，该技术都有望成为未来人机交互的重要发展方向。我们强烈推荐开发者和技术爱好者关注并尝试使用这个开源项目，探索其在实际应用中的无限可能。

On-Device-Speech-to-Speech-Conversational-AI This is an on-CPU real-time conversational system for two-way speech communication with AI models, utilizing a continuous streaming architecture for fluid conversations with immediate responses and natural interruption handling. 项目地址: https://gitcode.com/gh_mirrors/on/On-Device-Speech-to-Speech-Conversational-AI