记录将Hummingbird成功运行文生视频的过程

最近尝试的文生视频和图生视频，Comfyui里面的功能很强大，flux Kontext和WAN的模型都很厉害。
因为某种需要，找了一个轻量级的文生视频模型，豆包推荐了Hummingbird-0.9b，试着运行起来。github和huggingface的地址如下：
https://github.com/AMD-AIG-AIMA/Hummingbird
https://huggingface.co/amd/AMD-Hummingbird-T2V/tree/main
国内访问不佳，还是找了镜像站去访问。
github显示该模型的安装方式如下：

1）安装conda
为了不要影响系统里各种库的版本，anaconda和miniconda之间选了后者
sudo apt install miniconda
安装完以后提示要如下运行eval “$(/home/xxx/miniconda3/bin/conda shell.YOUR_SHELL_NAME hook)”
用echo $SHELL可以看到/bin/bash，所以

eval "$(/home/xxx/miniconda3/bin/conda shell.bash hook)"

1.1）conda设置换源，pip设置换源

#添加镜像源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/pro
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
#显示conda的源
conda config --show channels
#终端显示包从哪个channel下载，以及下载地址是什么
conda config --set show_channel_urls yes
#退出conda
conda deactivate
#查看已有环境
conda env list
#删除aaa环境
conda env remove -n aaa
#pip换源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
/home/xxx/.config/pip/pip.conf的pip.conf增加
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple

2）安装aria2（非必要，为了下载）并下载模型
本来是网页下载，但是时不时会断，wget又比较慢。
sudo apt install aria2

aria2c -c -x 4  https://hf-mirror.com/amd/AMD-Hummingbird-T2V/resolve/main/07B_merged_all.pt

下载了t2v的07B模型，放在Hummingbird/t2v/路径下。

3）使用conda安装，因为目前是nvidia的显卡，而不是amd的显卡，所以第三步不要指定rocm（rocm是amd的gpu软件栈），同理跳过docker的相关步骤

conda create -n AMD_Hummingbird python=3.10
conda activate AMD_Hummingbird
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1
pip install -r requirements.txt

4）试运行
python3 inference_command_config_07B.py
出现报错
NameError: name ‘flash_attn_func’ is not defined
需要安装flash_attention
https://github.com/Ji4chenLi/t2v-turbo这里提示用这种方式安装

但是网上搜索后
https://blog.youkuaiyun.com/buxiangspeaking/article/details/143886187
https://www.cnblogs.com/coldchair/p/18615384
发现直接安装release版本更方便


选择匹配版本下载并安装(2.8.3是当前最新)
pip3 install flash_attn-2.8.3+cu12torch2.5cxx11abiFALSE-cp310-cp310-linux_x86_64.whl

5）重新运行，出现报错，将一堆错误信息询问豆包，是torchvision和av版本不对应。卸载已有的av库，并安装推荐的版本即可。
pip3 uninstall av
pip3 install av==10.0.0

6）成功运行


results/07B可以看到

虽然效果比不上真正WAN，HUNYUAN等大模型，分辨率是512x320，但是只要8步的迭代，参数也比较小（0.7b参数只有4.5GB）。AMD的这个足够轻量级的模型还是很不错的，或者以后会有更好也更小更快的模型。mp4最后还是要转一下webp才能放到博客。