- 博客(59)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 RTC实现VoiceAgent（二）
今天给大家介绍使用RTC pilot实现基于WebRTC的voice agent。RTC pilot是基于c++17开发的，跨平台，支持服务集群的WebRTC服务。本期我们介绍独立的VoiceAgent服务。
2026-04-06 21:50:12
107
原创 WebRTC实现VoiceAgent智能体
今天给大家介绍使用RTCPilot实现基于WebRTC的voice agent。RTCpilot是基于c++17开发的，跨平台，支持服务集群的WebRTC服务。
2026-04-06 21:35:33
177
原创 低延时直播集群解决方案
WebRTC推流协议whip的应用。whip的全称是Web RTC- HTTP Ingestion Protocol。这次博主介绍一个完整的低延时直播解决方案。
2026-04-06 08:20:08
171
原创 RTC会议实时翻译系统
使用RTC pilot的视频会议解决方案，做一个视频会议实时翻译系统。RTC Pilot是一个基于C++17开发的WebRTC SFU开源，支持跨平台，支持windows，linux，macos，二次开发效率高；并且是开源中唯一全面支持WebRTC级联的开源服务。
2026-04-06 08:13:46
116
原创 RTCPilot的信令流程
RTCPilot的信令流程RTC Pilot是一个基于C++17开发的WebRTC SFU开源，支持跨平台，支持windows，linux，macos，二次开发效率高；并且是开源中唯一全面支持WebRTC级联的开源服务。
2026-04-06 07:59:01
284
原创 如何使用RTCPilot配置一个集群RTC服务
RTC Pilot是一个基于C++17开发的WebRTC SFU开源，支持跨平台，支持windows，linux，macos，二次开发效率高；并且是开源中唯一全面支持WebRTC级联的开源服务。上一期我们介绍RTC pilot如何搭建一个简单视频会议，今天我们介绍如何搭建一个RTC集群，提供分布式的视频会议系统。
2026-04-06 07:56:35
286
原创 如何使用RTCPilot--跨平台WebRTC开源服务
RTC Pilot是一个基于C++17开发的WebRTC SFU开源，支持跨平台，支持windows，linux，macos，简单，高性能，易用，二次开发效率高；并且是开源中唯一全面支持WebRTC级联的开源服务。
2026-04-06 07:51:00
92
原创 RTCPilot: 支持跨平台和集群的WebRTC SFU开源
大家好，今天给大家介绍一个博主自己开发的WebRTC SFU服务，支持跨平台: windows, linux和Mac OS；更重要的支持服务集群；因为支持Windows的virtual studio copilot ai开发，二次开发非常容易。
2026-04-06 07:39:44
127
原创 语言接入大模型，websocket还是webrtc？
今天我们来聊一聊语音接入大模型的方式，也就是我们用语音对大模型进行提问，大模型用语音进行回答。
2026-04-05 09:23:44
211
原创 做一个基于ffmpeg的AI Agent智能体
FFmpeg AI Agent：一条自然语言指令，实现一个简单音视频处理。让用户说一句：音视频的处理要求，AI Agent帮你把活给做了。实现比较简单，抛砖引玉，留下tools接口，可以无限扩展。
2026-02-03 09:17:09
738
原创 ffmpeg8.0合入whisper，语音识别模型终于进入ffmpeg
whisper合入ffmpeg，8.0开始可能使用语音转文字的AI智能。
2026-02-03 09:10:30
935
1
原创 websocket协议详解与代码实现
websocket是基于http的长链接协议。最近OpenAI的Realtime Api比较火(人工智能实时语音互动)，并且与AI做语音交互的协议就是用的websocket。本文的内容：websocket协议详解; Http部分;websocket frame部分;websocket协议的C++实现;基于libuv高性能异步
2026-02-03 09:05:24
621
原创 webrtc服务端如何录像
当前基于sfu服务的webrtc通信模式下，服务端录像和服务端旁路引流，是后端服务的一个重要需求。本文介绍webrtc服务端如何进行录像，文章通过几部分进行讨论:mediasoup sfu的旁路录像srs webrtc的旁路录像webrtc录像的格式讨论。
2026-02-03 08:52:58
651
原创 webrtc如何进行后台录音
webrtc的语音通话常使用opus编码，在webrtc的会议中常有语音录音的需求：会议客户需要语音会议记录，方便会后进行会议记录；troubleshooting需要：在后台接受的语音中进行录音，方便知道当前传输语音的质量；
2026-02-03 08:48:20
649
原创 Enhance rtmp-flv协议开始支持多码流
小编之前在LiveVideoStack写过博文详解Enhanced-RTMP支持H.265，详解了Enhance-Rtmp如何支持H265编码。后面也写过ffmpeg7.0 flv支持hdr，Enhanced-Rtmp支持Hdr。最近Enhance-Rtmp协议再次更新到v2版本，开始支持多码流方式，也就是我们常说的推送多份不同分辨率的视频，方便观众根据需要来观看。
2026-02-02 21:46:34
782
原创 WebRTC的H265是你想要的吗
从 Chromium 136 版本起，WebRTC 正式把 H.265（HEVC）列为受支持的编解码器之一，浏览器会默认启用该能力。今天一起聊聊这个话题。
2026-02-02 21:22:18
483
原创 webrtc推流能成为直播的主要方案吗？
小新：传统的推流采用RTMP协议，客户端推流的时候，如果遇到TCP发送阻塞，会有一个本地缓存队列把暂时要发送的音视频缓存起来，这个队列可以有2到6秒；小新：遇到网络阻塞时，其没有阻塞缓存队列，是通过带宽预测算法估计出口速率，采用降低视频速率，降低视频编码质量的方式，有时候预测算法不及时，就可能出现少量的丢包情况。小新：传输基于不可靠的UDP网络，也就是视频传输可能出现丢包，所以有自己的丢包重传机制，但是丢包重传的重传队列只有几百毫秒，也就是达不到秒级。小新：Web RTC的传输，是低延时的传输方式。
2026-01-25 12:00:09
498
原创 语言接入大模型，websocket还是webrtc？
小新：websocket接入大模型的应用就多了，简单，可靠，稳定的接入，稳定的语音流，其完全不丢包，ASR服务的输入是准确的。小新：是的，再补充一下，如果想解决websocket接入的弱网对抗问题，可以考虑用基于quic的webtransport方式，其也是稳定可靠的，并且能对抗弱网，经过测试百分之三十的丢包率，其传输完全没有问题，完全不影响业务。还有就是远程面试，通过被面试者的语音送往后台，大模型进行总结，最后大模型进行总结：面试者的特点，和通过tools进行评分，其的符合程度。
2026-01-24 08:53:30
453
1
原创 webrtc tcc详解
webrtc的tcc算法，具体做法是，接收端监控两个数据，并反馈给发送端。丢包率: 接收端计算出丢包率，定期发送rtcp rr报文(内有丢包率)给发送端，发送端通过丢包率的大小来决定是否降低编码的bitrate；
2024-07-28 22:01:41
1319
原创 webrtc sfu性能压测
这里介绍一下如何测试webrtc sfu服务器的性能，介绍原理和实际操作。最后以srs和mediasoup两个流行的webrtc sfu开源进行举例，如何压测其性能。
2024-07-07 10:28:24
1995
原创 webrtc gcc详解
webrtc的gcc算法(Google Congestion Control)，貌似国内很多文章都没有细讲，原理是怎么样的，具体怎么进行计算的。这里详解一下gcc
2024-07-07 10:23:28
1881
原创 Apple HEVC Stereo Video
为左眼和右眼携带立体视频视图的能力产生了更丰富的用户体验。立体视频（有时称为“3D 视频”）向用户的左眼呈现一个图像，向用户的右眼呈现另一幅图像（通常是相关的）以产生立体效果，定义为：大脑接收双眼视觉刺激而产生的深度知觉；双眼视觉。如下图，左眼一幅图，右眼一幅图，同时播放在加上apple眼镜的渲染，就形成3D效果。Apple的立体视频也是以上的模式，这里介绍Apple定义的HEVC在mp4中的3D视觉如何构造格式box和其特点。主视觉可以是左眼，也可以是右眼。
2024-06-04 21:07:51
1208
原创 ffmpeg7.0 flv支持hdr
自从ffmpeg6.0应用enhance rtmp支持h265/av1的flv格式后，7.0迎来了flv的hdr能力。本文介绍ffmpeg7.0如何支持hdr in flv。如果对enhance rtmp如何支持h265不了解，推荐[详解Enhanced-RTMP支持H.265](https://mp.weixin.qq.com/s/xqfILkFg1Gmk8Be5VhsW3w)
2024-05-06 20:43:23
1055
原创 Enhanced-Rtmp支持H265
千呼万唤使出来，rtmp/flv算是有统一支持H265的国际版本。本文介绍一下：* 现存rtmp/flv支持H265的方式;* Enhanced-Rtmp协议如何支持H265;* ffmpeg/obs/srs/media-server各个开源的实现;* 国内方案与国外方案的兼容性问题;
2024-05-06 20:40:57
1554
1
原创 cpp_media_server开始支持metaRTC
一. cpp_media_server开始支持metaRTCMetaRTC是一个为嵌入式/物联网打造的webRTC库，为第三代互联网 元宇宙提供webRTC能力。MetaRTC实现了webrtc协议，支持webrtc/srt/rtmp，有纯C和C++两个版本。cpp_media_server是基于c++11开发的webrtc会议服务sfu，网络部分基于Boost.Asio。cpp_media_server开始支持MetaRTC客户端，MetaRTC提供window/android/linux的nat
2022-05-04 21:04:39
1106
2
原创 webrtc的WHIP实现
WHIP接口1. 什么是whip全称: WebRTC-HTTP ingestion protocol (WHIP).rfc地址: rfc-draft-murillo-whip-00简单说，就是通过HTTP接口能导入webrtc媒体流。2. webrtc publish/unpublish2.1 webrtc publishwebrtc推流接口方法: http posturi: http://hostname:hostport/publish/roomId/uidhttp post bod
2022-05-03 11:36:49
4335
原创 RTP纠错机制精选翻译
9. 纠错机制9.1 前向纠错(FEC) 前向纠错(FEC)算法能让二进制流在传输过程中保持健壮性。传送大量二进制流在松散的媒介或网络下。额外的信息会加在二进制流中，能让接受者正确的重构在传输中丢失的数据。前向就戳算法主要应用在广域网，如手机网络、或包交换网络、或存储系统(如压缩盘、电脑硬盘或内存)。因为因特网是一个松散的媒介，因为媒体应用的信息对丢失非常敏感，FEC方案就被提议和编程R...
2020-04-19 21:53:52
934
原创 RTCP关键协议翻译
原版英文书链接(RTP:Audio and video for the internet.pdf)RTP协议比较简单，因此从第5章节RTCP开始。5.1 RTCP的组件 一个RTCP的应用有3个部分: 报文结构、时间规则，和参与者数据库。有几种类型的RTCP报文。5种标准的报文类型会在5.3 RTCP报文格式中描述，并随后附有报文集成放入复合报文中被发送。验证RTCP报文正确性的算法会在...
2020-04-19 21:48:19
1735
原创 SRT协议翻译
SRT协议srt是基于UDT传输协议，是用户级别的协议，其保留UDT的核心思想和机制，但是做了多项改进，包括控制报文的修改，针对直播流改进了流控，改进了拥塞算法，报文加密算法。本文介绍srt协议本身。更多的相关实现在：https://github.com/Haivision/srt简介srt传输协议为不可靠网络提供安全，可靠的数据传输，如因特网。任何数据都可以在srt协议上传输，特别是对音视...
2020-04-19 21:40:07
3281
原创 Quic_Wire_layout_specification_翻译
英文原文链接:QUIC wire specificationQUIC概述 本节我们主要介绍QUIC的关键功能和优点。QUIC功能上等于TCP+TLS+HTTP/2，但是基于UDP传输的。QUIC优于TCP+TLS+HTTP/2的关键点有:connect连接建立的低延时灵活的拥塞控制无头部阻塞的多路复用(TCP是有头部阻塞的)对头部和负载进行认证和加密流和连接的流控连接迁移c...
2020-04-19 21:05:37
461
原创 rtmp_specification_1.0翻译
英文原文: rtmp_specification_1.0.pdf5 RTMP Chunk Stream5.1 消息格式（Message Format）5.2 握手协议(Handshake)5.2.1 握手顺序5.2.2 C0和S0格式5.2.3 C1和S1格式5.2.4 C2和S2格式5.2.5. Handshake图解5.3 Chunking5.3.1 Chun...
2020-04-19 20:39:01
834
1
原创 SRT Encoder基于srt自适应码率的编码器
SRT Encodersrt encoder是基于srt发送的测试工具。基于srt协议中的rtt，maxBw，inflight等信息预测低延时的出口带宽，动态的调整编码bitrate，从而实现基于网络出口带宽的svc编码。1. 原理基于bbr基本拥塞控制算法，通过一个周期内(1~2seconds)的minRTT, maxBw, 和当前的inflight，预测出编码bitrate的状态机(保...
2020-02-09 17:06:29
4997
1
原创 SRT直播地址格式简介
SRT直播地址格式简介介绍srt在live模式下如何构造推/拉流地址。rtmp常规地址格式rtmp地址格式简介常规rtmp格式(无vhost) rtmp://hostip:port/appname/streamname 例子: rtmp://10.111.1.100:1935/live/livestream 上面例子中appname=“live”, streamname=“liv...
2020-02-06 21:04:37
10251
新视频直播传输协议SRT1.0.pdf
2020-02-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人