(一)前言
前提是这个:《笔记本6GB本地可跑的图生视频项目(FramePack)》。
(二)注意力机制
作者写道:
这个软件支持PyTorch原生的attention、xformers、flash-attn和sage-attn几种注意力机制。
默认情况下会直接用PyTorch自带的attention。
如果你会折腾的话,可以自己安装那些加速的attention内核。
作者没说它们各自的速度如何……
(三)安装xformers
我用的官方整合包,所以得安装现有环境对应版本的xformers
。查了下CU126的。
进入目录,执行安装。
...\framepack_cu126_torch26> .\system\python\python -mpip install triton-windows==3.2.0.post18 xformers==0.0.29.post3
另外两个没装好,我暂时懒得研究了(机器环境有点乱,也没用作者推荐的Python版本,额……)。
(四)提速效果
首先观察启动的命令行日志,确实Xformers is installed
,另外俩没有。
Currently enabled native sdp backends: ['flash', 'math', 'mem_efficient', 'cudnn']
Xformers is installed!
Flash Attn is not installed!
Sage Attn is not installed!
在4060Ti-16GB+RAM64GB下测试,从12s/it
,提升到8s/it
。
生成5秒的视频,大概耗时15分钟
。
Oh,yeah。
确实快多了!
(完)
💡我看到有测试说Sage Attn最快,这玩意儿怎么安装?或者用这里作者的方式?
PS:因为我直接装,其中一台机器成功,另一台虽然也是枣树(但日志写它没安装???)
...\framepack_cu126_torch26> .\system\python\python -mpip install sageattention
同时作者说会轻微影响结果。