MiniCPM-o.cpp 项目概览

原创于 2025-12-18 16:42:57 发布 · 658 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#llama

AI 同时被 2 个专栏收录

6 篇文章

订阅专栏

Llama-o.cpp

5 篇文章

订阅专栏

团队博客: 汽车电子社区

🎯 1. 项目简介

MiniCPM-o.cpp 是一个基于 C++ 实现的多模态大语言模型，支持同时处理文本、图像和音频输入，并能生成文本和语音输出。该项目专为边缘设备部署而设计，提供了完整的多模态AI解决方案。

🏗️ 2. 核心架构

2.1. 系统分层架构

┌─────────────────────────────────────────────┐
│              应用接口层 (API Layer)            │
│  CLI工具 | Web界面 | Python绑定 | 示例程序     │
├─────────────────────────────────────────────┤
│              核心处理层 (Core Layer)           │
│  MiniCPMO统一引擎 | 多模态融合 | 推理调度      │
├─────────────────────────────────────────────┤
│              编码器层 (Encoder Layer)         │
│  Siglip视觉 | Whisper音频 | LLaMA文本 | TTS  │
├─────────────────────────────────────────────┤
│              计算基础层 (Compute Layer)        │
│  GGML计算库 | CUDA加速 | OpenMP并行 | 优化算法 │
├─────────────────────────────────────────────┤
│              硬件抽象层 (Hardware Layer)       │
│  NVIDIA GPU | Apple Metal | CPU多核          │
└─────────────────────────────────────────────┘

📁 3. 项目结构

MiniCPM-o.cpp/
├── 📂 src/                     # 核心源代码
│   ├── minicpmo.cpp           # 主模型实现 (19.7KB)
│   ├── siglip.cpp             # 视觉编码器 (43.3KB)
│   ├── whisper_encoder.cpp    # 音频编码器 (52.2KB)
│   ├── outetts.cpp            # TTS模块 (21.7KB)
│   ├── utils.cpp              # 工具函数 (6.4KB)
│   └── minicpmo_cpp/          # Python绑定
├── 📂 include/                 # 公共头文件
│   ├── minicpmo.h             # 主模型接口
│   ├── siglip.h               # 视觉编码器接口
│   ├── whisper_encoder.h      # 音频编码器接口
│   ├── outetts.h              # TTS模块接口
│   └── utils.h                # 工具函数接口
├── 📂 examples/                # 示例和工具
│   ├── minicpmo/cli.cpp       # 命令行工具
│   ├── common.cpp             # 通用功能
│   ├── macos_stream.cpp       # macOS流处理
│   ├── video_decoder.cpp      # 视频解码器
│   └── web_demos/             # Web演示
├── 📂 models/                  # 预训练模型
│   ├── Model-7.6B-Q4_K_M.gguf     # 主语言模型 (4.36GB)
│   ├── minicpmo-image-encoder_Q4_1.gguf  # 图像编码器 (535MB)
│   └── minicpmo-audio-encoder_Q4_K.gguf  # 音频编码器 (184MB)
├── 📂 3rdparty/               # 第三方依赖
│   └── llama.cpp/             # LLaMA.cpp框架
├── 📂 docs/                   # 文档
├── 📂 cmake/                  # 构建配置
└── 📂 build/                  # 构建输出

🔧 4. 核心技术特性

4.1. 多模态统一处理

- 视觉理解: 基于SigLIP的高效图像编码
- 语音识别: 集成Whisper的音频处理能力
- 文本生成: 基于LLaMA.cpp的强大语言模型
- 语音合成: Outetts文本转语音转换

4.2. 性能优化

- 模型量化: 支持Q4_K、Q4_1等量化格式
- 硬件加速: CUDA、Metal后端支持
- 并行计算: OpenMP多线程优化
- 流式处理: 实时音视频流处理能力

4.3. 跨平台支持

- 操作系统: Linux、macOS、Windows
- 硬件架构: x86_64、ARM64
- 计算后端: NVIDIA GPU、Apple Silicon、CPU

🚀 5.主要功能模块

5.1. MiniCPMO核心引擎

- 位置: src/minicpmo.cpp
- 功能: 统一多模态处理、模型协调、生命周期管理
- 关键方法:

MiniCPMO(minicpmo_params params)           // 构造函数
void streaming_prefill(image, audio)        // 流式预填充
std::string streaming_generate(prompt)       // 流式文本生成
std::string chat(images, audio, prompt)     // 对话处理
bool text_to_speech(text, output_path)      // 文本转语音

5.2. 视觉编码器 (Siglip)

位置: src/siglip.cpp
功能: 图像理解、特征提取、视觉嵌入生成
特性: 支持超高分辨率图像、切片处理、并行预处理

5.3. 音频编码器 (Whisper)

- 位置: src/whisper_encoder.cpp
- 功能: 语音识别、音频特征提取
- 规格: 16kHz采样率、30秒音频块处理

5.4. 文本转语音 (Outetts)

- 位置: src/outetts.cpp
- 功能: 高质量语音合成、WAV文件输出
- 版本: 支持v0.2和v0.3模型

📊 6. 工作流程

6.1. 典型的视频处理流程

6.2. 流式处理优势

- 低延迟: 1秒音视频块实时处理
- 内存效率: 动态上下文管理，支持长时处理
- 交互性: 实时响应用户输入

🛠️ 7. 构建与部署

7.1. 构建要求

- 编译器: GCC 9+ / Clang 10+ / MSVC 2019+
- CMake: 3.16+
- 可选依赖: CUDA Toolkit、OpenMP

7.2. 构建命令

# 基础构建
mkdir build && cd build
cmake .. -DCMAKE_BUILD_TYPE=Release
make -j$(nproc)

# CUDA加速构建
cmake .. -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release

# Python绑定构建
pip install .

7.3. 使用示例

# 基础视频理解
./minicpmo-cli video.mp4 siglip_model.gguf whisper_model.gguf llm_model.gguf

# 带语音合成
./minicpmo-cli video.mp4 siglip_model.gguf whisper_model.gguf llm_model.gguf \
    ttc_model.gguf cts_model.gguf output.wav