本地大模型接入钉钉机器人：实现文本与识图功能

引言

在智能办公时代，将本地部署的大语言模型接入日常通讯工具能极大提升工作效率。本文将基于 chatgpt-on-wechat 项目，教你如何实现钉钉机器人的智能交互，并突破性添加原项目不支持的识图功能。

一、方案概览

1. 源码基座

   • 原始项目：chatgpt-on-wechat（内置多种消息类型的接入点、Session 管理、LLM 调用接口）

   • 优点：已成熟支持本地模型（如 ChatGLM、LLaMA）、微信消息协议

2. 改造目标

   • 在消息处理逻辑中注入「图像识别」：收到用户发图后，自动 OCR，并把识别结果与 LLM 回答合并推送

3. 关键技术点

   • 钉钉机器人消息回调＋媒体文件拉取

   • 利用多模态模型达到对接识图效果

二、环境与依赖

1. 新建一个钉钉机器人
   1. 机器人参考文档概述 - 钉钉开放平台
2. 本地拉取开源项目
   1. 项目地址