【限时免费】项目实战：用MiniCPM-V-2_6构建一个智能会议纪要生成器，只需100行代码！...-优快云博客

项目实战：用MiniCPM-V-2_6构建一个智能会议纪要生成器，只需100行代码！

【免费下载链接】MiniCPM-V-2_6 项目地址: https://gitcode.com/mirrors/OpenBMB/MiniCPM-V-2_6

项目构想：我们要做什么？

在日常工作中，会议是信息交流和决策的重要环节，但会议纪要的整理往往耗时耗力。本项目旨在利用MiniCPM-V-2_6的多模态能力，开发一个智能会议纪要生成器。该应用能够根据会议中的图像（如白板内容、PPT截图）和语音转文字记录，自动生成结构化的会议纪要。

输入与输出

输入：
- 会议中的图像（如白板、PPT截图）。
- 会议语音转文字记录（可选）。
输出：
- 结构化的会议纪要，包括会议主题、讨论要点、决策事项和待办任务。

技术选型：为什么是MiniCPM-V-2_6？

MiniCPM-V-2_6是一款强大的多模态大模型，具备以下核心亮点，非常适合实现本项目：

多图像理解能力：能够同时处理多张会议相关的图像（如白板、PPT），并提取关键信息。
OCR能力卓越：对图像中的文字识别准确率高，适合提取白板或PPT中的文本内容。
高效推理：模型轻量化，支持实时处理，适合部署在本地设备上。
多语言支持：支持中英文等多种语言，满足国际化团队的需求。

核心实现逻辑

项目的核心逻辑分为以下几步：

图像处理：使用MiniCPM-V-2_6提取图像中的文本和关键信息。
文本整合：将语音转文字记录（如果有）与图像提取的文本合并。
生成会议纪要：设计Prompt，让模型根据整合后的内容生成结构化的会议纪要。

关键代码逻辑

加载MiniCPM-V-2_6模型和分词器。
输入图像和文本，调用模型的chat方法生成会议纪要。
设计Prompt，明确要求模型输出结构化内容。

代码全览与讲解

以下是完整的项目代码，关键部分附有中文注释：

import torch
from PIL import Image
from transformers import AutoModel, AutoTokenizer

# 加载模型和分词器
model = AutoModel.from_pretrained(
    'openbmb/MiniCPM-V-2_6',
    trust_remote_code=True,
    attn_implementation='sdpa',
    torch_dtype=torch.bfloat16
)
model = model.eval().cuda()
tokenizer = AutoTokenizer.from_pretrained('openbmb/MiniCPM-V-2_6', trust_remote_code=True)

# 加载会议图像
image1 = Image.open('whiteboard.jpg').convert('RGB')  # 白板内容
image2 = Image.open('ppt_slide.jpg').convert('RGB')  # PPT截图

# 设计Prompt，明确生成会议纪要的结构
prompt = """
请根据以下会议内容生成一份结构化的会议纪要：
1. 会议主题
2. 讨论要点
3. 决策事项
4. 待办任务
"""

# 构建输入消息
msgs = [
    {
        'role': 'user',
        'content': [
            image1,
            image2,
            prompt
        ]
    }
]

# 调用模型生成会议纪要
response = model.chat(
    image=None,
    msgs=msgs,
    tokenizer=tokenizer,
    sampling=True,
    temperature=0.7
)

print("生成的会议纪要：")
print(response)

代码说明

模型加载：使用AutoModel和AutoTokenizer加载MiniCPM-V-2_6模型。
图像输入：支持多张图像输入，如白板和PPT截图。
Prompt设计：明确要求模型输出结构化的会议纪要。
生成结果：调用model.chat方法生成会议纪要。

效果展示与功能扩展

效果展示

假设输入的白板图像包含以下内容：

主题：项目进度汇报
讨论：后端延迟问题
决策：增加服务器资源
待办：测试新配置

生成的会议纪要可能如下：

1. 会议主题：项目进度汇报
2. 讨论要点：后端延迟问题
3. 决策事项：增加服务器资源
4. 待办任务：测试新配置

功能扩展

语音输入支持：结合语音识别API，将会议录音转为文字输入。
多语言支持：利用模型的多语言能力，支持多语言会议纪要生成。
自动化部署：将应用封装为Web服务，方便团队使用。