一、介绍
OmniGen 是一个统一的图像生成模型,可用于执行各种任务,包括但不限于文本到图像生成、主题驱动生成、身份保留生成、图像编辑和图像条件生成。OmniGen 不需要额外的插件或操作,它可以根据文本提示自动识别输入图像中的特征(例如,所需的对象、人体姿势、深度映射)
可以通过 OmniGen 灵活地控制图像生成:
引用表达式生成:你可以输入多个图像,并使用简单的通用语言来引用这些图像中的对象。OmniGen 可以自动识别每个图像中的必要对象,并根据它们生成新图像。无需进行其他操作,例如图像裁剪或人脸检测:
二、部署
项目部署流程如下
1.安装 conda(如已安装则跳过)
下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境,可以输入 conda --version
进行检查。下面是 Mimiconda 的安装过程:
- 下载 Miniconda 安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
- 运行安装脚本
bash Miniconda3-latest-Linux-x86_64.sh
- 遵循安装提示并初始化
按 Enter 键查看许可证条款,阅读完毕后输入 yes
接受条款,安装完成后,脚本会询问是否初始化 conda 环境,输入 yes
并按 Enter 键。
- 运行
source ~/.bashrc
命令激活 conda 环境 - 再次输入
conda --version
命令来验证是否安装成功,如果出现类似conda 4.10.3
这样的输出就成功了。
2.创建虚拟环境
输入下面的命令:
conda create -n omnigen python=3.10.13
conda activate omnigen
3.安装 pytorch
pip install torch==2.3.1+cu118 torchvision --extra-index-url https://download.pytorch.org/whl/cu118
4.克隆OmniGen
git clone https://github.com/VectorSpaceLab/OmniGen.git
cd OmniGen
5.然后安装项目依赖
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple
项目依赖安装完成之后就可以启动项目了,如果使用Gradio页面。需要先进行安装,运行下面命令:
pip install gradio spaces -i https://pypi.tuna.tsinghua.edu.cn/simple
python app.py
在安装的过程中,会一并下载项目中的模型,如果你的设备不能魔法上网,那么可以修改环境变量:
export HF_ENDPOINT=https://hf-mirror.com
不出意外的话,安装完成后会跳出访问链接:
然后在浏览器访问即可:
然后就可以愉快的玩耍OmniGen了