2025嵌入式音视频入门技术栈

前言：

之前有人说不清楚嵌入式音视频学习路线，今天我结合招聘网站上的招聘要求，汇总了一些技术栈方向，希望对大家学习有一定的帮助。

方向内容主要分为：

• 视频和流媒体方向：

• 音频方向

视频和流媒体方向技术栈：

握弱网对抗相应的技术(如ARQ,FEC,ABC,GCC) 熟悉WebRTC native源码： 音视频处理流程、码率自适应、jitterbuffer、NetEQ，能定制、优化 低延时优化、性能优化、内存优化经验者优先 优化P2P穿透、提高穿透率,不低于业界指标 优化P2P和RELAY传输,迭代优化QoS指标 优化流媒体产品用户体验，如延迟、流畅、画质 优化音视频传输丢包、网络抖动

做嵌入式音视频上层开发工作内容： 嵌入式音视频功能应用模块开发，包括音视频的编码、解码、存储、传输、osd显示、优化、测试； AI移植和优化经验优先 播放器、wifi直播、UVC 摄像头视频流的拉流解码以及编码推流

嵌入式音视频底层工作内容： Sensor 、USB(usb camera) ==> V4L2/ALSA/UVC/UAC/Linux Gadget子 pipeline

音视频开源框架： -ffmpeg -gsteamer -openmax -webrtc -live555 渲染： OpenGL/Metal/Vulkan 流媒体协议： RTMP、HTTP、UDP和QUIC hls onvif rtsp/rtp/rtcp ndi http/https(一般可能在做私有协议会用到，比如和网页端通信交互) sip gb28181

嵌入式音视频学习soc: -rk -hi

编解码标准(视频和音频) YUV，RGB图像 视频编解码标准：

• h264

• h265

• h.266

音频编解码标准：

• aac

• mp3

• g7xx

• opus

音视频封装容器要掌握的： -mp4 -ts -flv -mov -avi

音频技术栈：

1、熟悉Linux下BT、ALSA等音频处理框架优先

2、了解场景的音频信号处理算法(音频3A，音频效果器算法等)

掌握音频信号处理（编解码、降噪、回声消除等）及常见音频接口协议（I2S、TDM、PDM）

熟悉常见音频编解码格式（如 MP3、AAC、WAV 等）及其编解码算法

编解码器（AAC/SBC/LDAC/LHDC/LC3）、自适应降噪（ANC）、通话降噪（ENC）、低功耗设计等。

音频前后处理算法如噪声抑制(NS)、增益控制(AGC)、人声增强、回音消除(AEC），麦克风阵列拾音算法等经验者优先。

端到端音频系统构建，搭建低延迟音频处理管线，集成编解码（Opus/AAC）、传输（WebRTC）与硬件驱动（ALSA/I2S），支持多设备协同（如耳机+手机+云端）。

3、了解音频处理基础（采样率、位深、编解码格式如PCM/MP3/AAC），熟悉常用音频算法（FFT、FIR/IIR滤波、动态范围控制）

4、有音频协议开发经验（如蓝牙A2DP/APT-X、DLNA、AirPlay）

5、熟悉无线音频技术（如LE Audio、True Wireless Stereo）

6、了解AI语音交互框架（如Wake-on-Voice、语音识别集成）

7、熟悉 WebRTC、Speex、OPUS、librosa、BeamformIt 等开源音频处理工具和库者优先

8、熟悉音频接口技术：I2S、PCM、TDM、SPDIF TX/RX

9、有RK / 麦克风阵列 产品线完整开发项目优先

10、对语音AI技术 (如语音唤醒、ASR, NLU,情感TTS) 有深入理解，有实际集成云端AI服务或端侧AI模型部署经验者优先。

11、实现过音频处理，如滤波器，动态增益控制，低音增强等算法实现。清楚算法原理及其参数设计。熟悉这些芯片的软件开发调试环境；

12、探索AI生成式音频（如语音克隆、背景音合成）与空间音频（3D声场渲染）的落地场景。

扎实的DSP基础（FFT、滤波器设计、自适应算法），有AI音频算法落地经验者优先 13、熟悉HIFI4/HIFI5 DSP框架并有项目开发经验

14、了解Linux ALSA 音频处理框架，ADI Sigma Studio，NPU处理框架并有小模型落地经验优先

如果想要系统入门学习嵌入式音视频开发，可以加我微信，了解付费课程来学习：

tu18879499804