数字人-数字汤姆猫

数字汤姆猫-聊天助手

1. 应用简介

数字汤姆猫-聊天助手是一款结合语音交互、人工智能和可视化形象的智能对话应用。特点包括：

• 拟人化交互：以经典卡通形象"汤姆猫"为角色，提供生动有趣的对话体验
• 全语音交互：支持语音输入和语音输出，实现自然的人机对话
• 本地化部署：主要AI模型(语音识别、语音合成、语言模型)均可本地运行
• 显卡要求低：消费级显卡GTX2080TI(12G)，即可流畅运行数字汤姆猫
• 低延迟响应：采用C/S架构，WebSocket实现实时通信，保证交互流畅性

2. 代码功能解析

服务端代码功能

1. 核心组件：

   • 语音识别：实现高精度中文语音转文字
   • 语言模型：使用qwen模型进行对话生成
   • 语音合成：将文本转为自然语音输出
   • WebSocket服务：处理客户端实时通信

2. 主要功能：

   • 音频处理流水线：ASR → LLM → TTS → TomCat全流程处理
   • 对话记忆管理：维护最近n轮对话上下文
   • 流式响应：实时分块返回LLM生成结果
   • 状态管理：同步语音播放状态到客户端
   • 心跳检测：保持WebSocket连接活跃

客户端代码功能

1. 核心模块：

   • 数字播放器：展示数字汤姆猫
   • WebSocket客户端：与服务端实时通信
   • 音频采集：通过麦克风录制用户语音
   • 用户界面：提供交互控制和对话展示

2. 主要功能：

   • 录音控制：开始/停止录音并发送到服务端
   • 状态显示：实时展示连接状态和交互状态
   • 对话记录：图文形式展示完整对话历史
   • 动画同步：根据语音状态切换动画

任何问题请加唯一QQ2258205918（名称samylee）！