ffmpeg 本地麦克风声音和系统声音混音后，再混合本地桌面成最终的mp4文件

最新推荐文章于 2025-09-28 22:21:56 发布
原创 最新推荐文章于 2025-09-28 22:21:56 发布 · 2.1k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ffmpeg #windows桌面 #音视频

之前写过ffmpeg录制麦克风声音和pc内部声音(如播放歌曲)—混音，现在再进一步，混音后，再和采集到的桌面视频合在一处。

现在说说大致思路，如下所示，创建了四个线程

	HANDLE hThreadAudio = CreateThread(NULL, 0, AudioCapThreadProc, 0, 0, NULL);
	HANDLE hThreadAudioMic = CreateThread(NULL, 0, AudioMicCapThreadProc, 0, 0, NULL);
	HANDLE hThreadAudioMix = CreateThread(NULL, 0, AudioMixThreadProc, 0, 0, NULL);
	HANDLE hThreadVideo = CreateThread(NULL, 0, ScreenCapThreadProc, 0, 0, NULL);

其中线程hThreadAudio代表的是本地pc内部声音采集，线程hThreadAudioMic代表的是本地麦克风声音采集。线程hThreadAudioMix专门用于上面两路音频混音，线程hThreadVideo用于抓取桌面视频，然后主线程对混音后的音频数据和视频数据进行合并。

接着我们看如下四个队列变量：

AVFifoBuffer	*fifo_video = NULL;
AVAudioFifo		*fifo_audio = NULL;
AVAudioFifo		*fifo_audio_mic = NULL;

///fifo_audio_mix是两路音频混音后，声音所要塞入的队列，便于后续做音视频同步
AVAudioFifo		*fifo_audio_mix = NULL;

其中fifo_video是线程hThreadVideo抓取的视频数据所入的队列；fifo_audio是线程hThreadAudio抓取的电脑内部音频数据所入的队列；fifo_audio_mic是线程hThreadAudioMic抓取的电脑麦克风音频数据所入的队列，fifo_audio_mix是电脑内部音频和麦克风音频数据合并后，缩入的队列。

主线程负责从fifo_video取视频数据，从fifo_audio_mix取混音后的音频数据，然后写入文件。

音频格式上，hThreadAudio和hThreadAudioMic采集到的都是AV_SAMPLE_FMT_S16格式，故混音时，采取的格式也是AV_SAMPLE_FMT_S16。最后写文件的时候，需要转换成AV_SAMPLE_FMT_FLTP格式。

下面是完整代码：

// FfmpegAudioTest.cpp : 此文件包含 "main" 函数。程序执行将在此处开始并结束。
//

#include <Windows.h>
#include <conio.h>

#ifdef	__cplusplus
extern "C"
{
   
   
#endif
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
#include "libswscale/swscale.h"
#include "libswresample/swresample.h"
#include "libavdevice/avdevice.h"
#include "libavutil/audio_fifo.h"
#include "libavutil/avutil.h"
#include "libavutil/fifo.h"
#include "libavutil/frame.h"
#include "libavutil/imgutils.h"

#include "libavfilter/avfilter.h"
#include "libavfilter/buffersink.h"
#include "libavfilter/buffersrc.h"

#include "SDL.h"

#pragma comment(lib, "avcodec.lib")
#pragma comment(lib, "avformat.lib")
#pragma comment(lib, "avutil.lib")
#pragma comment(lib, "avdevice.lib")
#pragma comment(lib, "avfilter.lib")

	//#pragma comment(lib, "avfilter.lib")
	//#pragma comment(lib, "postproc.lib")
#pragma comment(lib, "swresample.lib")
#pragma comment(lib, "swscale.lib")

#pragma comment(lib, "SDL2.lib")

#ifdef __cplusplus
};
#endif




AVFormatContext	*pFormatCtx_Audio = NULL;
AVFormatContext	*pFormatCtx_AudioMic = NULL;
AVFormatContext *pFormatCtx_Out = NULL;

AVFormatContext	*pFormatCtx_Video = NULL;

AVCodecContext *pReadCodecCtx_Video = NULL;
AVCodecContext *pReadCodecCtx_Audio = NULL;
AVCodecContext *pReadCodecCtx_AudioMic = NULL;

AVCodec *pReadCodec_Video = NULL;

int iVideoStreamIndex = 0;
int iAudioStreamIndex = 1;

AVCodecContext	*pCodecEncodeCtx_Video = NULL;
AVCodecContext	*pCodecEncodeCtx_Audio = NULL;
AVCodec			*pCodecEncode_Audio = NULL;

AVFifoBuffer	*fifo_video = NULL;
AVAudioFifo		*fifo_audio = NULL;
AVAudioFifo		*fifo_audio_mic = NULL;

///fifo_audio_mix是两路音频混音后，声音所要塞入的队列，便于后续做音视频同步
AVAudioFifo		*fifo_audio_mix = NULL;

SwsContext *img_convert_ctx = NULL;
SwrContext *audio_convert_ctx = NULL;

uint8_t *picture_buf = NULL, *frame_buf = NULL;

bool bCap = true;

int AudioFrameIndex_mix = 0;


int64_t cur_pts_v = 0;
int64_t cur_pts_a = 0;


int yuv420_frame_size = 0;



AVFilterGraph* _filter_graph = NULL;
AVFilterContext* _filter_ctx_src_inner = NULL;
AVFilterContext* _filter_ctx_src_mic = NULL;
AVFilterContext* _filter_ctx_sink = NULL;


CRITICAL_SECTION VideoSection;
CRITICAL_SECTION AudioSection;
CRITICAL_SECTION AudioSection_mic;
CRITICAL_SECTION AudioSection_mix;


DWORD WINAPI AudioCapThreadProc(LPVOID lpParam);
DWORD WINAPI AudioMicCapThreadProc(LPVOID lpParam);

DWORD WINAPI AudioMixThreadProc(LPVOID lpParam);

DWORD WINAPI ScreenCapThreadProc(LPVOID lpParam);


typedef struct BufferSourceContext {
   
   
	const AVClass    *bscclass;
	AVFifoBuffer     *fifo;
	AVRational        time_base;     ///< time_base to set in the output link
	AVRational        frame_rate;    ///< frame_rate to set in the output link
	unsigned          nb_failed_requests;
	unsigned          warning_limit;

	/* video only */
	int               w, h;
	enum AVPixelFormat  pix_fmt;
	AVRational        pixel_aspect;
	char              *sws_param;

	AVBufferRef *hw_frames_ctx;

	/* audio only */
	int sample_rate;
	enum AVSampleFormat sample_fmt;
	int channels;
	uint64_t channel_layout;
	char    *channel_layout_str;

	int got_format_from_params;
	int eof;
} BufferSourceContext;



static char *dup_wchar_to_utf8(const wchar_t *w)
{
   
   
	char *s = NULL;
	int l = WideCharToMultiByte(CP_UTF8, 0, w, -1, 0, 0, 0, 0);
	s = (char *)av_malloc(l);
	if (s)
		WideCharToMultiByte(CP_UTF8, 0, w, -1, s, l, 0, 0);
	return s;
}


/* just pick the highest supported samplerate */
static int select_sample_rate(const AVCodec *codec)
{
   
   
	const int *p;
	int best_samplerate = 0;

	if (!codec->supported_samplerates)
		return 44100;

	p = codec->supported_samplerates;
	while (*p) {
   
   
		if (!best_samplerate || abs(44100 - *p) < abs(44100 - best_samplerate))
			best_samplerate = *p;
		p++;
	}
	return best_samplerate;
}




/* select layout with the highest channel count */
static int select_channel_layout(const AVCodec *codec)
{
   
   
	const uint64_t *p;
	uint64_t best_ch_layout = 0;
	int best_nb_channels = 0;

	if (!codec->channel_layouts)
		return AV_CH_LAYOUT_STEREO;

	p = codec->channel_layouts;
	while (*p) {
   
   
		int nb_channels = av_get_channel_layout_nb_channels(*p);

		if (nb_channels > best_nb_channels) {
   
   
			best_ch_layout = *p;
			best_nb_channels = nb_channels;
		}
		p++;
	}
	return best_ch_layout;
}


int InitFilter(const char* filter_desc)
{
   
   
	char args_inner[512];
	const char* pad_name_inner = "in0";
	char args_mic[512];
	const char* pad_name_mic = "in1";

	AVFilter* filter_src_spk = (AVFilter *)avfilter_get_by_name("abuffer");
	AVFilter* filter_src_mic = (AVFilter *)avfilter_get_by_name("abuffer");
	AVFilter* filter_sink = (AVFilter *)avfilter_get_by_name("abuffersink");
	AVFilterInOut* filter_output_inner = avfilter_inout_alloc();
	AVFilterInOut* filter_output_mic = avfilter_inout_alloc();
	AVFilterInOut* filter_input = avfilter_inout_alloc();
	_filter_graph = avfilter_graph_alloc();

	sprintf_s(args_inner, sizeof(args_inner), "time_base=%d/%d:sample_rate=%d:sample_fmt=%s:channel_layout=0x%I64x",
		pReadCodecCtx_Audio->time_base.num,
		pReadCodecCtx_Audio->time_base.den,
		pReadCodecCtx_Audio->sample_rate,
		av_get_sample_fmt_name((AVSampleFormat)pReadCodecCtx_Audio->sample_fmt),
		pReadCodecCtx_Audio->channel_layout);
	sprintf_s(args_mic, sizeof(args_mic), "time_base=%d/%d:sample_rate=%d:sample_fmt=%s:channel_layout=0x%I64x",
		pReadCodecCtx_AudioMic->time_base.num,
		pReadCodecCtx_AudioMic->time_base.den,
		pReadCodecCtx_AudioMic->sample_rate,
		av_get_sample_fmt_name((AVSampleFormat)pReadCodecCtx_AudioMic->sample_fmt),
		pReadCodecCtx_AudioMic->channel_layout);

	//sprintf_s(args_spk, sizeof(args_spk), "time_base=%d/%d:sample_rate=%d:sample_fmt=%s:channel_layout=0x%I64x", _fmt_ctx_out->streams[_index_a_out]->codec->time_base.num, _fmt_ctx_out->streams[_index_a_out]->codec->time_base.den, _fmt_ctx_out->streams[_index_a_out]->codec->sample_rate, av_get_sample_fmt_name(_fmt_ctx_out->streams[_index_a_out]->codec->sample_fmt), _fmt_ctx_out->streams[_index_a_out]->codec->channel_layout);
	//sprintf_s(args_mic, sizeof(args_mic), "time_base=%d/%d:sample_rate=%d:sample_fmt=%s:channel_layout=0x%I64x", _fmt_ctx_out->streams[_index_a_out]->codec->time_base.num, _fmt_ctx_out->streams[_index_a_out]->codec->time_base.den, _fmt_ctx_out->streams[_index_a_out]->codec->sample_rate, av_get_sample_fmt_name(_fmt_ctx_out->streams[_index_a_out]->codec->sample_fmt), _fmt_ctx_out->streams[_index_a_out]->codec->channel_layout);


	int ret = 0;
	ret = avfilter_graph_create_filter(&_filter_ctx_src_inner, filter_src_spk, pad_name_inner, args_inner, NULL, _filter_graph);
	if (ret
最低0.47元/天 解锁文章
tusong86
关注
FFmpeg filter混音
DaveBobo的博客
01-04 1708
使用FFmpeg命令行将两个音频文件合并为一个音频文件，命令行如下： ffmpeg -i aa.mp3 -i bb.mp3 -filter_complex amix=inputs=2:duration=first:dropout_transition=2 -f mp3 remix.mp3 代码实现： extern "C" { #include "libavcodec/avcodec.h"...
音频和视频处理：FFmpeg混音和音视频混合
EtwCpp的博客
09-20 672
本文介绍了如何使用FFmpeg进行音频和视频处理中的混音和音视频混合操作。通过使用FFmpeg的强大功能，我们可以轻松地合并音频信号、调整音量平衡，以及将音频和视频进行混合生成新的多媒体文件。例如，我们可以使用FFmpeg调整音频的音量、剪辑音频和视频的片段、添加文本和水印等。FFmpeg是一个强大的开源多媒体处理工具，它提供了广泛的功能，包括音频和视频处理。在本文中，我们将探讨如何使用FFmpeg进行混音和音视频混合的操作。除了混音，FFmpeg还支持将音频和视频进行合并，生成包含音频和视频的混合文件。
ffmpeg 本地麦克风声音和系统声音混音后，再混合本地桌面成最终的mp4文件-修正
tusong86的博客
12-10 2303
之前本人写过一篇博客： ffmpeg 本地麦克风声音和系统声音混音后，再混合本地桌面成最终的mp4文件 但是存在着下面两个问题： 1.系统声音和麦克风对应的设备的采样率不一样，没有进行重采样，比如系统声音设备的采样率是 48000，若不进行重采样，则最终系统声音播放出来，会发现播放变慢。 2.av_read_frame采集的视频图像，在用下面两个函数编码时，avcodec_receive_packet经常返回 AVERROR(EAGAIN)，若单纯写一个桌面录制的功能，在主线程中进行抓图，编码，则大概率发
FFmpeg过滤器实战：混音
最新发布
Lenn Louis' Scribe
09-28 478
这个 Demo 展示了如何使用 FFmpeg 的过滤器系统来做混音。比如我们在做直播的时候如何将麦克风输入音频和 BGM 合成在一起，以及一些细节的操作。和水印 Demo 不同的是，这里我们使用了面相对象的思想进行了封装。
15 - FFmpeg 音频混音（过滤器）
weixin_44977283的博客
08-27 1285
dropout_transition=3 则是指定在音频丢失时的过渡时间（单位为秒）。这里设置为3秒，表示在一个音频渐渐退场时，会持续这样的过渡时间。* -filter_complex：这个参数表示使用一个复杂的过滤器。* longest 表示混合的持续时间将取两个音频文件中较长的那个。* complex 表示我们将要应用一个比简单过滤器更复杂的操作。* dropout_transition=3：这是一个过渡参数。* amix 是一个用于音频混合的过滤器。封装一个AudioMIxer。
利用ffmpeg的filter混音
热门推荐
dancing_night的专栏
11-08 1万+
概述 流程介绍 流程如下 线程之间数据走向如下 代码 下载地址概述一个简单的混音demo，把文件a和文件b的音频混为一个音频流输出并存为文件，只处理每个文件的第一个音频流 注：源代码是网友Larry_Liang(1085803139)写的，我帮其调试通过，存在这里以免备忘流程介绍流程如下：打开输入1->打开输入2->打开输出->初始化混音filter->开启采集线程和编码写文件循环线程之间数据走向
利用ffmpeg对两个音频文件进行混音处理
liuzhen007的专栏
03-11 1424
原本程序自带的音频测试素材是一段时长 24 秒的 wav 文件，其中包含了关键词 Yes 和 No，两个关键词出现的具体时间点如下：想引入的噪点数据是前段时间在抖音上比较火的背景音乐——《野花与栀子花》，具体内容这里就省略了。
FFMpeg-12、自带filter实现混音(系统音和麦克风音混合)
zw1996的博客
12-04 2156
获取系统音设备名称Setup Screen Capturer Recorder ，使用ffmpeg自带filter实现系统音和麦克风录制声音进行混音，以及一路静音的场景。
ffmpeg录制麦克风声音和pc内部声音(如播放歌曲)---混音
tusong86的博客
11-25 2134
vs版本：vs2017 ffmpeg版本： ffmpeg version N-102642-g864d1ef2fc Copyright © 2000-2021 the FFmpeg developers built with gcc 8.1.0 (x86_64-win32-seh-rev0, Built by MinGW-W64 project) configuration: --arch=x86_64 --disable-debug --enable-shared --disable-static --e
ffmpeg录制桌面，麦克风和系统声音独立成2路音轨
tusong86的博客
12-24 1786
之前本人写过下面一篇博客： ffmpeg 本地麦克风声音和系统声音混音后，再混合本地桌面成最终的mp4文件-修正 里面的麦克风声音和系统声音利用滤镜进行了混音处理，昨天夜晚再想如果麦克风声音和系统声音不混合，各自成一路音轨，最终生成的mp4文件能否播放，是否能达到预期的效果。 结果就是不及预期，生成视频文件2021-12-24T12-09-09.mp4的两路音轨，只能播放序号小的音轨，没法同时播放，我尝试了很多播放器，都是这样，vlc和potplayer做的好一些，可以检测到音轨的数量，并让用户选择播放哪一
ffmpeg混音(将多个声音合成一个)命令
SurpassLi的专栏
08-23 88
ffmpeg命令中可以使用filter amix实现这个功能。 官方文档 http://ffmpeg.org/ffmpeg-filters.html6.8 amixMixes multiple audio inputs into a single output. Note that this filter only supports float samples (the amerge and...
ffmpeg混音（混声）命令
张雨的博客
11-15 4848
ffmpeg命令目录 ffmpeg -i INPUT1 -i INPUT2 -i INPUT3 -filter_complex amix=inputs=3:duration=first:dropout_transition=3 OUTPUT inputs The number of inputs. If unspecified, it defaults to 2.//输入的数量，如果没有指明，默认为2. duration How to determine the end-of-stream.//决.
ffmpeg pcm混音
一航jason
03-20 2040
视频会议中经常需要处理的场景有多路音频混音，那么混音有很多种算法有比较主流的有aec、平均权重等方法；如果公司要开发生产级别的音频混合要的算法可能会更加多，可以找算法公司购买。 ffmpeg也有混音的操作，用的就是平均权重算法。 #define ENABLE_FILTERS 1 static const char* filter_descr = "[in0][in1]amix=inputs=2[...
ffmpeg进行混音，将两路音频pcm数据合成一路输出
万事亨通
01-17 4365
ffmpeg进行混音，将两路音频pcm数据合成一路输出 audiomixer.h #ifndef AUDIOMIXER_H #define AUDIOMIXER_H #include <map> #include <mutex> #include <cstdio> #include <cstdint> #include <string> #include <memory> extern "C" { #include <lib
ffmpeg avfilter-avfiltergraph之混音
weixin_42929891的博客
05-12 360
ffmpeg对应的版本号： configuration: --prefix=/home/zeng/share/ffmpeg/ffmpeg/build/ --enable-ffplay libavutil 57. 24.101 / 57. 24.101 libavcodec 59. 25.100 / 59. 25.100 libavformat 59. 20.101 / 59. 20.101 libavdevice 59. 6.100 / 59. 6.10
FFmpeg 混音学习【一】FFmpeg aac音频混流学习及问题记录
HiddenTrack的博客
07-11 1889
主要学习的是ffmpeg官方demo里的doc/examples/filtering_audio.c ffmpeg混流的主要流程 初始化filter 读取aac数据，解码后将数据压入filter buffer中 从buffer中取出数据编码成aac数据 1、初始化filter 首先定义需要使用到的变量： /** An instance of a filter */ static const char *filter_desc = "aresample=48000,aformat=sample
(二) ffmpeg filter学习--混音实现
小小的熊的博客
08-05 3432
Audio 混音实现 从FFMPEG原生代码doc/examples/filtering_audio.c修改而来。 ffmpeg版本信息 1 2 3 4 5 6 7 8 9 10 11 ffmpeg version N-82997-g557c0df Copyright (c) ...
ffmpeg麦克风和桌面音频混音
08-08
要使用 FFmpeg 实现麦克风音频和桌面音频的混音，通常需要以下几个关键步骤：采集麦克风音频、采集桌面音频、将两者进行混音，最后将混合后的音频与桌面视频进行合成输出为最终的 MP4 文件。 ### 采集麦克风音频 麦克风音频的采集可以通过 `dshow` 设备进行捕获。例如，在 Windows 环境下可以使用如下命令： ```bash -i audio="麦克风名称" ``` 完整命令示例： ```bash ffmpeg -f dshow -i audio="麦克风 (Realtek Audio)" ... ``` ### 采集桌面音频 桌面音频（系统音频）的采集可以通过 `dshow` 捕获系统音频设备。例如： ```bash -f dshow -i audio="立体声混音" ``` 完整命令示例： ```bash ffmpeg -f dshow -i audio="立体声混音 (Realtek Audio)" ... ``` ### 混音麦克风音频和桌面音频 FFmpeg 提供了内置的音频滤镜来实现混音操作。可以使用 `amix` 音频滤镜来混合多个音频流。具体命令如下： ```bash -filter_complex amix=inputs=2:duration=first:dropout_transition=3 ``` 完整命令示例： ```bash ffmpeg \ -f dshow -i audio="麦克风 (Realtek Audio)" \ -f dshow -i audio="立体声混音 (Realtek Audio)" \ -filter_complex amix=inputs=2:duration=first:dropout_transition=3 \ ... ``` ### 采集桌面视频 桌面视频的采集可以使用 `gdigrab` 设备进行捕获。例如： ```bash -f gdigrab -framerate 30 -i desktop ``` 完整命令示例： ```bash ffmpeg -f gdigrab -framerate 30 -i desktop ... ``` ### 合并视频和混合音频 将采集到的桌面视频和混合后的音频合并为最终的 MP4 文件，可以使用以下命令： ```bash -c:v libx264 -preset ultrafast -pix_fmt yuv420p -c:a aac output.mp4 ``` 完整命令示例： ```bash ffmpeg \ -f gdigrab -framerate 30 -i desktop \ -f dshow -i audio="麦克风 (Realtek Audio)" \ -f dshow -i audio="立体声混音 (Realtek Audio)" \ -filter_complex amix=inputs=2:duration=first:dropout_transition=3 \ -c:v libx264 -preset ultrafast -pix_fmt yuv420p -c:a aac \ output.mp4 ``` ### 代码实现混音原理 在程序实现中，如果直接操作音频数据，可以采用 PCM 数据叠加的方式进行混音。例如，假设 `PCM1` 和 `PCM2` 是两路音频数据，则混合后的音频数据为： ```c MIX_PCM = PCM1 / 2 + PCM2 / 2 ``` 在混音过程中，如果需要禁用某一路音频，可以将该路音频数据置零： ```c if (m_bflagAudioSys) { memset(input_frame->data[0], 0, input_frame->nb_samples * 2 * 2); } ``` ### 音频格式转换 在 FFmpeg 中，音频采集时通常使用 `AV_SAMPLE_FMT_S16` 格式，而在编码输出时需要转换为 `AV_SAMPLE_FMT_FLTP` 格式。这可以通过 `swr_convert` 函数进行音频重采样和格式转换。 ### 示例代码 以下是一个简单的音频混音和格式转换的代码示例： ```c // 假设 input_frame1 和 input_frame2 是两路输入音频帧 AVFrame *mix_frame = av_frame_alloc(); mix_frame->sample_rate = input_frame1->sample_rate; mix_frame->channel_layout = input_frame1->channel_layout; mix_frame->format = AV_SAMPLE_FMT_S16; av_frame_get_buffer(mix_frame, 0); // 混音操作 for (int i = 0; i < input_frame1->nb_samples; i++) { ((int16_t *)mix_frame->data[0])[i] = ((int16_t *)input_frame1->data[0])[i] / 2 + ((int16_t *)input_frame2->data[0])[i] / 2; } // 格式转换 SwrContext *swr_ctx = swr_alloc_set_opts(NULL, AV_CH_LAYOUT_STEREO, AV_SAMPLE_FMT_FLTP, mix_frame->sample_rate, AV_CH_LAYOUT_STEREO, AV_SAMPLE_FMT_S16, mix_frame->sample_rate, 0, NULL); swr_convert_frame(swr_ctx, output_frame, mix_frame); ``` ### 总结 通过上述方法，可以使用 FFmpeg 实现麦克风音频和桌面音频的混音操作，并结合桌面视频录制生成最终的 MP4 文件。在实际应用中，需要注意音频格式的转换和混音算法的实现，以确保音频质量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值