多任务注意力网络（mTAN）项目使用指南-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00093/article/details/142189886

多任务注意力网络（mTAN）项目使用指南

mTAN Code for "Multi-Time Attention Networks for Irregularly Sampled Time Series", ICLR 2021. 项目地址: https://gitcode.com/gh_mirrors/mt/mTAN

项目简介

多任务注意力网络(mTAN) 是一个由Shikun Liu、Edward Johns 和 Andrew J. Davison 提出的高效参数化的深度学习模型。此项目实现并开源了在CVPR 2019上发表的论文《End-to-End Multi-task Learning with Attention》中的方法，旨在通过自动学习任务特定的特征级注意力来优化多任务神经网络的学习。

目录结构及介绍

以下是基于给定的仓库链接中假设的简化版目录结构和主要文件说明：

mTAN
│
├── docs                # 文档资料，可能包括API文档和教程。
├── examples             # 示例代码或入门案例。
├── im2im_pred           # 图像到图像预测相关代码，包含了各种模型的实现。
│   ├── model_{name}.py  # 不同的模型文件，如model_segnet_single.py用于单任务学习，model_segnet_mtan.py是mTAN模型的实现。
│
├── visual_decathlon    # 视觉十项全能挑战赛相关代码和数据处理。
│   └── model_wrn_mtan.py # 基于宽ResNet构建的mTAN模型源码。
│
├── data                # 数据预处理脚本或指向数据集的链接。
├── utils               # 辅助工具函数，比如数据加载器、损失函数等。
├── requirements.txt    # 项目依赖库列表。
├── README.md           # 项目介绍和快速入门指南。
└── setup.py            # 项目安装脚本。

注: 实际目录结构可能会有所不同，具体以项目仓库中的结构为准。

项目的启动文件介绍

主要启动文件示例

im2im_pred/model_{name}.py: 这些文件是核心模型的实现，其中model_segnet_mtan.py是用于启动多任务学习的关键文件，它包含了mTAN模型的定义和训练逻辑。
visual_decathlon/model_wrn_mtan.py: 特别地，如果你正在研究视觉十项全能挑战，这个文件用于训练基于Wide Residual Network的mTAN模型。

启动项目通常涉及选择一个模型文件，并根据需求调整相应的配置后执行。例如，运行mTAN模型进行训练或测试，可以采用类似以下命令：

python im2im_pred/model_segnet_mtan.py --train --config config.json

这里，--train指示进入训练模式，而config.json代表配置文件路径，实际参数和配置项应根据提供的文档调整。

项目的配置文件介绍

配置文件（假设为 config.json 或类似命名）包含模型训练的重要参数设置，如学习率、批次大小、优化器类型、是否应用数据增强等。
关键字段举例:
- "task": 指定任务类型，可能是“semantic”、“depth”或“normal”之一。
- "dataroot": 数据集根目录路径。
- "weight": 任务权重方案，“equal”，“DWA”（动态权重平均）或“uncert”（不确定性加权）。
- "type": 分类如“split”，“dense”，或“mtan”等，决定任务共享方式。
- 其他可能字段包括学习率("lr"), 训练轮数("epochs"), 等。