WebRtc音频01 - 设备管理

原创 已于 2025-01-20 17:45:34 修改 · 1.2k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#webrtc #音视频 #媒体 #实时音视频

于 2024-10-10 20:30:11 首次发布

WebRTC音频01 - 设备管理（本文）
WebRTC音频 02 - Windows平台设备管理
WebRTC音频 03 - 实时通信框架
WebRTC音频 04 - 关键类
WebRTC音频 05 - 音频采集编码

一、前言：

想象一下，我们在PC上安装了一个钉钉，需要开一个音视频会议。在呼叫建立这个音视频的会议的过程中，与音频相关的必要操作步骤有哪些呢？

首先，你得有硬件设备，麦克风和扬声器；

其次，你是不是得编写麦克风和扬声器的驱动程序，并添加到windows系统的内核态，并暴露接口给应用层？

接着，硬件有了，驱动有了你就可以直接写一个app去操控这个设备了（调音量、静音什么的）；

那么问题来了，如果明天换了一个品牌的麦克风呢？你是不是又得做一遍？

现实中肯定不是这样的，因为微软已经规定了好了，你如果是麦克风，你就得按照我规定的一套标准API去开发驱动，无论你换啥麦克风，我都可以用通用驱动程序。那么问题又来了，既然驱动的接口已经定了标准，那么对应用层暴露的API是不是也可以有个标准呢？答案是肯定的，不光提供了接口，微软还做了一个专门的管理模块去管理这些音频相关的设备。

那么，问题又来了，人家微软不管什么麦克风怼上去都可以使用

最低0.47元/天 解锁文章
【webrtc】WebRTC AudioTransport 和AudioDeviceModule自定义
突围
12-16 2358
WebRTC AudioTransport 核心摘要 WebRTC的AudioTransport是音频处理中枢，负责连接音频设备与编解码模块。其核心设计包含： 双向数据流： 采集端采用推送模式（RecordedDataIsAvailable回调） 播放端采用拉取模式（NeedMorePlayData/PullRenderData回调） 关键参数： 固定10ms音频帧处理 推荐48kHz采样率 需提供精确的延迟参数（total_delay_ms）和时钟信息 典型应用场景： 音频算法测试 文件播放/录制 特殊硬
WebRTC音频 02 - Windows平台设备管理
Ziwubiancheng的博客
10-11 1452
上一节讲了WebRtc如何去管理音频设备的，最终得出结论就是使用了ADM。但是ADM之下，Windows、Linux、mac又各不相同，这一节就分析下Windows平台是如何管理这些音频设备的。也就是分析下AudioDeviceWindowsCore这个类都干了啥！分析之前我们得先看下Core Audio，因为这是最新windows平台对音频设备控制的模块。我们AudioDeviceWindowsCore也主要是调用Core Audio的API和音频设备进行交互的。
android webrtc入门教程一(简单一对一通话实现)
m0_73443478的博客
12-15 2583
android webrtc入门教程一(简单一对一通话实现)
WebRTC入门指南：实时通信零基础
最新发布
2202_75677328的博客
10-23 1170
WebRTC是一种开源技术，支持浏览器和移动应用直接进行实时音视频和数据传输，无需安装插件。它具有P2P连接、低延迟、加密安全、跨平台等特性，广泛应用于视频会议、在线教育等领域。WebRTC通过媒体捕获、信令交换、NAT穿透等步骤建立连接，使用STUN/TURN服务器解决网络障碍。虽然性能优越且免费，但存在网络依赖和开发复杂度等局限。学习WebRTC可参考官方文档或简化开发框架，是构建实时互动应用的重要工具。
WebRTC音频模块
Charles' home
06-24 1770
本文转载于：http://blog.youkuaiyun.com/neustar1/article/details/19344503   非常感谢。 本文介绍WebRTC音频模块组成和结构，详细介绍音频引擎的配置和启动，相信看完本文后，很多人可以利用WebRTC完成一个音频通话程序开发。 一、对外接口       音频部分的对外主要接口如下，各个接口之间的关系如图1所示。 1）Voice Engine
WebRTC源码之音频设备播放流程源码分析
永远积极向上、永远热泪盈眶、永远豪情满怀、永远坦坦荡荡
08-15 1407
①、低延迟②、提高了可靠性，API从内核层移到了用户层③、安全性更高等等…WebRTC源码分析地址：https://github.com/chensongpoixs/cwebrtc。
WebRTC源码之AudioDeviceModule【更新。。。】
葡萄花红的博客
03-23 1370
看到这，人麻了，又来一遍。这个模块是音频设备管理的核心代码，也是代码里最大的模块之一，一共有audio_device_impl.h、audio_device_impl.cc、audio_device_data_observer.cc、audio_device_core_win.h、audio_device_core_win.cc、audio_device_data_observer等文件。不多说，直接开始代码分析。大量webrtc源码警告！大量webrtc源码警告！大量webrtc源码警告！
精选资源
webrtc-audio-processing.rar
07-07
综上所述，"webrtc-audio-processing.rar"提供了对WebRTC音频处理在ARM平台上性能的深入洞察和测试能力，这对于移动设备上的实时音视频通信应用开发者来说是极其宝贵的资源。通过测试和优化，我们可以期待在各种环境...
精选资源
webrtc-android-jni.rar
05-15
1. **WebRTC架构**：WebRTC的架构由多个组件构成，包括传输层（如ICE）、信令层（如SIP、RTCPeerConnection）、媒体引擎（用于音频和视频处理）以及数据通道（用于传输非媒体数据）。在Android上，这些组件通常通过...
WebRTC音频 05 - 音频采集编码
Ziwubiancheng的博客
10-18 781
本文主要介绍了音频数据采集线程、编码线程如何配合完成音频数据从采集到编码发送的流程。涉及到引擎层的AudioState（包括其中的adm），以及ACM模块，还有Call模块，如果不了解这几个模块，可以看我的WebRTC音频 03 - 实时通信框架-优快云博客。
WEBRTC
swt198852的专栏
11-01 8302
WebRTC 目录 简介 架构 1.    WebRTC架构组件介绍 2.    Network Stream API 3.    RTCPeerConnection 4.    Peer-to-peer Data API 相关 分析 1.    视频 2.    音频 展开 简介 架构 1.    WebR
Google Webrtc
06-10
google 的webrtc文档google 的webrtc文档google 的webrtc文档
WebRTC
Made In SQL
06-19 2320
WebRTC是一种开源实时通信技术，支持浏览器和移动应用直接进行点对点音视频通信与数据共享。其核心特点包括： 技术层面：实现NAT穿透、内置多种编解码器、默认端到端加密 应用场景：覆盖视频会议、在线教育、社交娱乐、远程协助等领域 显著优势：无需插件、开源免费、低延迟（50-200ms）、简化API开发 现存挑战：网络环境依赖、浏览器兼容性差异、复杂群聊优化不足 与WebSocket相比，WebRTC更专注于音视频传输，采用P2P架构和专门媒体协议，而WebSocket适用于通用双向数据通信，采用客户端-服务
WebRTC手记之初探
weixin_30325487的博客
03-25 506
转载请注明出处:http://www.cnblogs.com/fangkm/p/4364553.html WebRTC是HTML5支持的重要特性之一，有了它，不再需要借助音视频相关的客户端，直接通过浏览器的Web页面就可以实现音视频对聊功能。而且WebRTC项目是开源的，我们可以借助WebRTC源码快速构建自己的音视频对聊功能。无论是使用前端JS的WebRTC API接口，还是在WebRTC源...
webRTC
商务合作|种草文章|产品测评
02-20 2292
是腾讯云推出的实时音视频通信服务，基于WebRTC技术，提供了一系列的SDK和API，可以快速、简单地实现实时音视频通信功能。TRTC支持点对点通信、多方会议、屏幕共享等多种应用场景，同时具有高质量、低延迟、强安全性等特点，是开发实时通信应用的理想选择。接入TRTC SDK可以使用多种语言和平台，如Web前端、安卓、IOS、Flutter等，具体的接入方式和操作方法可以参考腾讯云TRTC官方文档：https://cloud.tencent.com/document/product/647/35525。
win10 如何使用webrtc-audio-processing
08-05
在 Windows 10 系统中配置和使用 WebRTC 音频处理模块涉及多个步骤，包括获取源码、编译模块、集成到项目以及调用相关 API。以下是详细的配置和使用方法： ### 获取 WebRTC 源码 WebRTC 的源码可以通过官方仓库获取。使用以下命令克隆源码： ```bash git clone https://webrtc.googlesource.com/src.git ``` 克隆完成后，进入源码目录并同步依赖项： ```bash cd src gclient sync ``` ### 编译音频处理模块 WebRTC 的音频处理模块（Audio Processing Module, APM）包含噪声抑制（NS）、语音活动检测（VAD）、回声消除（AEC）等功能。为了在 Windows 上编译这些模块，需要使用 Ninja 和 Visual Studio。 1. **生成构建配置**： ```bash gn gen out/Default ``` 2. **编译音频处理模块**： ```bash ninja -C out/Default webrtc/modules/audio_processing ``` 编译完成后，音频处理模块的库文件将生成在 `out/Default` 目录中。 ### 集成到项目 将 WebRTC 音频处理模块集成到项目中需要以下几个步骤： 1. **引入头文件**：将 `webrtc/modules/audio_processing/include` 添加到项目的包含路径中。 2. **链接库文件**：将编译生成的 `.lib` 文件链接到项目中。 3. **初始化音频处理模块**：使用 `AudioProcessing` 类进行初始化和配置。 示例代码如下： ```cpp #include "modules/audio_processing/include/audio_processing.h" std::unique_ptr<webrtc::AudioProcessing> apm(webrtc::AudioProcessing::Create()); // 配置 AGC webrtc::AudioProcessing::Config::GainController1 agc_config; agc_config.enabled = true; agc_config.mode = webrtc::AudioProcessing::Config::GainController1::kAdaptiveDigital; apm->set_config({.gain_controller1 = agc_config}); // 配置 NS webrtc::AudioProcessing::Config::NoiseSuppression ns_config; ns_config.enabled = true; ns_config.level = webrtc::AudioProcessing::Config::NoiseSuppression::kHigh; apm->set_config({.noise_suppression = ns_config}); ``` ### 使用音频处理模块 音频处理模块支持多种音频处理功能，如噪声抑制、自动增益控制、语音活动检测等。以下是一个简单的音频处理流程： 1. **输入音频数据**：将原始音频数据传递给音频处理模块。 2. **处理音频数据**：调用 `ProcessStream` 方法对音频数据进行处理。 3. **输出处理后的音频数据**：获取处理后的音频数据并进行播放或存储。 示例代码如下： ```cpp // 假设 audio_data 是一个包含原始音频数据的数组 int sample_rate = 16000; // 音频采样率 int num_channels = 1; // 单声道 size_t num_samples = sample_rate * num_channels; // 每秒的样本数 // 配置音频流参数 webrtc::StreamConfig config(sample_rate, num_channels, false); // 处理音频数据 apm->ProcessStream(config, config, audio_data.data(), config, processed_audio_data.data()); ``` ### 使用 Core Audio API 进行音频输入输出 在 Windows 10 中，WebRTC 使用 Core Audio API 进行音频设备管理。可以通过 `AudioDeviceWindowsCore` 类与音频设备进行交互。具体步骤包括： 1. **枚举音频设备**：使用 Core Audio API 枚举系统中的音频输入和输出设备。 2. **初始化音频设备**：根据设备信息初始化音频输入和输出流。 3. **读取和写入音频数据**：通过音频流读取输入数据并写入处理后的输出数据。 示例代码如下： ```cpp #include <mmdeviceapi.h> #include <endpointvolume.h> // 枚举音频设备 IMMDeviceEnumerator* deviceEnumerator = nullptr; CoCreateInstance(__uuidof(MMDeviceEnumerator), nullptr, CLSCTX_ALL, __uuidof(IMMDeviceEnumerator), (void**)&deviceEnumerator); IMMDeviceCollection* devices; deviceEnumerator->EnumAudioEndpoints(eRender, DeviceStateActive, &devices); // 获取设备数量 UINT count; devices->GetCount(&count); // 遍历设备 for (UINT i = 0; i < count; i++) { IMMDevice* device; devices->Item(i, &device); IPropertyStore* props; device->OpenPropertyStore(STGM_READ, &props); PROPVARIANT varName; PropVariantInit(&varName); props->GetValue(PKEY_Device_FriendlyName, &varName); // 输出设备名称 std::wcout << L"Device " << i << L": " << varName.pwszVal << std::endl; PropVariantClear(&varName); props->Release(); device->Release(); } deviceEnumerator->Release(); ``` ### 音频处理流程中的 QMF 滤波 在某些情况下，需要对音频数据进行 QMF（Quadrature Mirror Filter）滤波，以便进行更精细的降噪处理。WebRTC 提供了 `WebRtcSpl_AnalysisQMF` 和 `WebRtcSpl_SynthesisQMF` 函数来实现这一功能。 示例代码如下： ```cpp #include "common_audio/signal_processing/include/signal_processing_library.h" #define FRAME_SIZE 160 // 每帧的样本数 short audio_data[FRAME_SIZE]; // 原始音频数据 short low_band[FRAME_SIZE / 2]; // 低频部分 short high_band[FRAME_SIZE / 2]; // 高频部分 // 分析 QMF 滤波 WebRtcSpl_AnalysisQMF(audio_data, FRAME_SIZE, low_band, high_band, FRAME_SIZE / 2); // 在此处进行降噪处理... // 合成 QMF 滤波 WebRtcSpl_SynthesisQMF(low_band, high_band, FRAME_SIZE / 2, audio_data, FRAME_SIZE); ``` ### 总结 在 Windows 10 系统中配置和使用 WebRTC 音频处理模块需要从源码编译、集成到项目、配置音频处理参数、调用 Core Audio API 进行设备管理，以及在必要时使用 QMF 滤波进行音频处理。通过上述步骤，可以实现高效的音频处理功能，如噪声抑制、自动增益控制、语音活动检测等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值