程序人生

LiveTalking开源项目提供数字人嘴型驱动技术，支持离线与实时音频处理。离线系统处理完整音频文件，而实时系统采用流式数据处理策略，通过前后缓存参数（stride_left_size/right_size）平衡延迟与准确性。系统初始化时会预填充音频队列，采用16帧批次处理，保留部分帧作为上下文缓存。音频特征通过滑动窗口与视频帧匹配，不同模型（mel/whisper/hubert）有特定参数配置。项目代码托管于GitHub（https://github.com/lipku/LiveTalking）

Livetalking是一款实时数字人驱动系统，支持WebRTC协议视频流输出。主要功能包括：1）文字实时播报，内置多种TTS服务；2）智能问答，默认集成阿里云Qwen大模型，支持替换为其他模型；3）语音输入播报，可直接上传音频文件或通过WebSocket传输实时音频流。系统提供灵活接口，支持JSON和Form-data数据格式，适用于各类数字人交互场景，用户可根据需求选择内置服务或对接外部AI模型及语音服务。

本文介绍了如何使用TURN转发服务解决GPU服务器UDP端口受限的问题。主要内容包括：1）在云服务器安装coturn服务并配置认证信息、UDP端口范围；2）服务端开放TCP 8010端口运行livetalking应用；3）修改客户端配置使用TURN服务地址。通过这种方式，可在不开放UDP端口的服务器上实现视频转发，每路视频需要2个UDP端口。提供了详细的配置步骤和测试方法。

摘要：文章探讨了实时数字人LiveTalking在多并发场景下的模型推理优化方案，比较了多进程与多线程的优劣。多线程可减少显存占用（共享模型），但可能影响实时帧率；多进程则存在显存线性增长问题。测试数据显示：wav2lip（1.3G显存/750fps）支持30路并发，musetalk（12G显存/60fps）支持2路，ernerf（2G显存/45fps）建议用多进程。针对不同模型特性提供了线程/进程的切换建议，并指出静音帧优化潜力。

在编码时，送入编码器的frame会置pts，视频frame的pts是当前的帧数、duration是1，音频frame的pts是当前总共发送的sample数、duration是一帧的sample数（aac是1024）还有一点要注意的是，在推送h264和aac的rtmp流时，需要将codec的extradata赋值给stream，代码如下。av_rescale_q函数的作用是将codec的时间单位换算成发送流stream的时间单位，公式为。stream的timebase都是1/1000，表示ms。

最近在做一个开源项目，遇到开发者问各种问题，发现都是系统和软件版本的差异引起的。于是了解了一下docker的使用，发现docker真是个好东东，基本解决了各种版本差异的问题，真正做到了一键部署使用。先熟悉一下docker里的概念，docker分为镜像和容器，镜像是一个静态的文件，用于分发部署。容器是镜像运行起来后的运行时对象，可以在容器里安装软件、添加文件等，修改后可以用docker commit将容器打成一个新的镜像。镜像有点类似软件开发中的类，容器类似对象。整体流程如下图所示。

本文介绍了用python实现rtmp推流的几种方式，开源代码供参考

实现实时流式数字人，可以实时对话，代码已经开源

在深度学习中经常要用到nvidia显卡，本文介绍linux平台下nvidia显卡驱动和深度学习配套库的安装及常见问题解决