visual-ChatGPT-zh：一款实现看图问答、AI画图、AI改图的中文AI系统

visual-ChatGPT-zh：一款实现看图问答、AI画图、AI改图的中文AI系统

visual-chatgpt-zh visual-chatgpt支持中文版本 项目地址: https://gitcode.com/gh_mirrors/vi/visual-chatgpt-zh

随着人工智能技术的快速发展，自然语言处理领域取得了令人瞩目的成就。今天，我们要介绍一个开源项目——visual-ChatGPT-zh，它是一款支持中文的AI系统，能够实现看图问答、AI画图、AI改图等多种功能。

项目介绍

visual-ChatGPT-zh 是基于微软官方发布的 visual-ChatGPT 模型开发的中文版本。该系统集成了多种视觉和语言处理模型，能够处理图像和文本之间的交互任务。通过官方论文《Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models》可以了解到该系统的详细技术背景和应用场景。

项目技术分析

visual-ChatGPT-zh 的核心是基于深度学习技术的视觉和语言模型。系统采用了以下几种模型：

1. ImageCaptioning：图像描述模型，用于生成图像的中文描述。
2. Text2Image：文本转图像模型，根据输入的文本生成相应的图像。
3. ImageEditing：图像编辑模型，用于修改图像中的特定元素。

此外，还有多种辅助模型，如 Image2Canny、Image2Depth、Image2Scribble 等，用于处理图像的不同特征。

项目技术应用场景

visual-ChatGPT-zh 的应用场景非常广泛，以下是一些典型的使用案例：

1. 看图问答：用户上传一张图片，系统可以识别图片内容并生成相应的描述。
2. AI画图：用户输入一段文本，系统可以自动绘制出与之相关的图像。
3. AI改图：用户上传一张图片，并指定修改某个元素，系统可以自动完成修改。

这些功能在广告设计、娱乐、教育等领域具有广泛的应用前景。

项目特点

1. 中文支持：visual-ChatGPT-zh 专门为中文用户设计，能够处理中文文本和图像之间的交互任务。
2. 功能丰富：系统集成了多种模型，能够实现看图问答、AI画图、AI改图等多种功能。
3. 易于部署：项目提供了详细的部署指南，用户可以根据自己的硬件配置选择合适的部署方式。
4. 性能优化：系统针对不同显卡进行了优化，显存不足的用户可以通过调整参数，将部分模型加载到CPU上，虽然推理速度有所降低，但仍然能够正常运行。

以下是一个简单的示例，展示了如何使用 visual-ChatGPT-zh 进行看图问答：

# Quick Start

## 1. 克隆项目

git clone https://github.com/wxj630/visual-ChatGPT-zh

## 2. 进入项目目录

cd visual-ChatGPT-zh

## 3. 创建python环境并激活

conda create -n visgpt python=3.8 conda activate visgpt

## 4. 安装环境依赖

pip install -r requirement.txt

## 5. 确认API key

export OPENAI_API_KEY={Your_Private_Openai_Key}

## 6. 下载模型

bash download_hf_models.sh

## 7. 启动系统

python visual_ChatGPT_zh.py --load ImageCaptioning_cuda:0,Text2Image_cuda:0 --pretrained_model_dir {your_hf_models_path}

## 8. 使用系统进行看图问答

示例：用户上传一张图片，系统生成描述

输入图片路径

image_path = 'path/to/image.jpg'

调用系统API进行看图问答

response = visual_ChatGPT_zh.image_to_text(image_path) print(response)

通过以上步骤，您就可以使用 visual-ChatGPT-zh 进行看图问答、AI画图和AI改图等操作了。赶快来体验这款强大的中文AI系统吧！

visual-chatgpt-zh visual-chatgpt支持中文版本 项目地址: https://gitcode.com/gh_mirrors/vi/visual-chatgpt-zh