论文:https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123670477.pdf
代码地址:https://github.com/akshitac8/tfvaegan
训练日志
配环境
conda create -n tfvaegan python=3.6
conda activate tfvaegan
pip install https://download.pytorch.org/whl/cu90/torch-0.3.1-cp36-cp36m-linux_x86_64.whl
pip install torchvision==0.2.0 scikit-learn==0.22.1 scipy==1.4.1 h5py==2.10 numpy==1.18.1
1.下载数据集
CUB, AWA, FLO and SUN features四个文件,下载链接:
https://drive.google.com/drive/folders/16Xk1eFSWjQTtuQivTogMmvL3P6F_084u?usp=sharing
https://drive.google.com/drive/folders/1pNlnL3LFSkXkJNkTHNYrQ3-Ie4vvewBy?usp=sharing
数据集介绍:
CUB:鸟类细粒度数据集,200各类别,每个类别312纬属性。
SUN:细粒度的场景数据集。
AWA1:动物图像数据集。50个类别,85维属性。
AWA2:AWA1的复杂变体,从公共网络来源收集了37322张图片。
数据集 | 视觉维度 | 语义特征维度 | 所有实例数量 | 可见/不可见数量 |
---|---|---|---|---|
CUB | 2048 | 312 | 11788 | 150/50 |
SUN | 2048 | 102 | 14340 | 707/10 |
AWA1 | 2048 | 85 | 30475 | 40/10 |
AWA2 | 2048 | 85 | 37322 | 40/10 |
评价指标
可见类和不可见类的平均类别准确率(ACA)
ACAU:不可见类准确率。
ACAS:可见类准确率。
H:调和平均值:
H
=
2
×
A
C
A
U
×
A
C
A
S
A
C
A
U
+
A
C
A
S
\begin{array}{c} H=\frac{2 \times A C A^{U} \times A C A^{S}}{A C A^{U}+A C A^{S}} \end{array}
H=ACAU+ACAS2×ACAU×ACAS
2.训练自己的数据集(这里暂时还没弄明白)
3.训练论文里面的数据集
创建screen:screen -L -S tfvaegan
screenlog.0在下面的文件夹下。
在CUB, AWA, FLO and SUN数据集上面,训练和评估 ZSL and GZSL 模型的命令。
CUB : python scripts/run_cub_tfvaegan.py
AWA : python scripts/run_awa_tfvaegan.py
FLO : python scripts/run_flo_tfvaegan.py
SUN : python scripts/run_sun_tfvaegan.py
训练结果
数据集 | ZSL不可见 | GZSL可见 | GZSL不可见 | H |
---|---|---|---|---|
CUB | 64.83 | 61.87 | 54.43 | 57.91 |
FLO | 69.41 | 84.73 | 62.19 | 71.73 |
SUN | 65.56 | 41.24 | 43.26 | 42.22 |
AWA2 | 71.50 | 75.50 | 59.17 | 66.34 |
分类准确率和调和平均数。
论文思路学习
https://blog.youkuaiyun.com/weixin_39704651/article/details/108803378
https://zhuanlan.zhihu.com/p/435679848