ActiveToken Mixer(ActiveMLP) 使用指南

ActiveToken Mixer(ActiveMLP) 使用指南

TokenMixers项目地址:https://gitcode.com/gh_mirrors/ac/ActiveMLP

项目介绍

ActiveMLP 是由微软团队推出的下一代多层感知机(MLP)架构，它通过引入“主动Token混合器”(Active Token Mixer, ATM)这一核心组件，在保持MLP结构简洁的同时，有效融合了深度学习模型中的上下文信息。ATM能动态决定从何处捕捉有用的信息，并在通道层级融合这些信息，实现跨令牌的上下文信息灵活整合。该模型不仅适用于图像分类，还在目标检测和语义分割等密集预测任务中展示了优异的性能。在ImageNet-1K数据集上，不同的ActiveMLP变体达到了79.7%~84.8%的top-1准确率，模型规模覆盖15M至76M。

快速启动

为了迅速体验ActiveMLP的强大功能，遵循以下步骤设置环境并运行示例：

环境准备

确保你的开发环境中已安装PyTorch、PaddlePaddle或相关依赖，具体版本需求请参照GitHub仓库的README文件。

下载模型和数据

1. 克隆项目:

   git clone https://github.com/microsoft/ActiveMLP.git
   

2. 准备ImageNet数据集: 确保你有ImageNet数据集的访问权限，并将其路径指向配置文件中。

运行模型

作为快速入门，我们将加载预训练的ActiveTiny模型进行验证测试:

python main.py --model ActivexTiny --eval --dist-eval

如果你想从头开始训练一个模型，例如ActiveTiny，使用分布式训练环境，命令如下（假设你有8块GPU）:

python -m torch distributed launch --nproc_per_node 8 \
    main.py --batch-size 128 \
    --data-path <path-to-your-imagenet-dataset> \
    --model ActivexTiny \
    --output-dir active_xtiny_output

应用案例与最佳实践

在实际应用中，ActiveMLP的灵活性使其成为多种场景的理想选择。例如，结合UperNet进行语义分割时，ActiveMLP-Large展示出了51.1%的mIoU成绩在ADE20K数据集上。为了实现这样的应用，你需要集成相应的分割框架，调整模型输出以适应分割头的需求，并按照文献中提到的训练策略进行微调。

示例代码片段

对于使用LIME（Local Interpretable Model-Agnostic Explanations）解释模型决策的场景，下面是如何对特定输入执行解释的示例：

from ActiveMLP.lime_interpreter import LIMECVInterpreter
import paddle
from dataset import val_dataset # 假设这是你定义的验证集

# 加载模型权重
model = ActivexTiny()
model_state_dict = paddle.load('<path-to-best-model.pdparams>')
model.set_state_dict(model_state_dict)

# 解释器使用示例
lime = LIMECVInterpreter(model)
X, y = next(iter(DataLoader(val_dataset, batch_size=18)))
lime_weights = lime.interpret(X.numpy()[3], interpret_class=y.numpy()[3], 
                             batch_size=100, num_samples=10000, visual=True)

典型生态项目

由于ActiveMLP的通用性，它能够融入现有的深度学习生态系统，支持各种计算机视觉任务。开发者可以在不同的视觉库和框架（如PyTorch、TensorFlow、PaddlePaddle等）间迁移此模型，并利用其在对象检测、语义分割和实例分割等领域的潜力。在实际应用中，通过结合模型压缩技术、量化以及分布式训练策略，可以进一步优化ActiveMLP在资源受限设备上的部署。

请注意，具体案例实施细节应参考最新的官方文档或论文，因为技术细节可能会随着更新而变化。

TokenMixers项目地址:https://gitcode.com/gh_mirrors/ac/ActiveMLP