MobileOne：突破毫秒级壁垒的移动端骨干网络

MobileOne：突破毫秒级壁垒的移动端骨干网络

ml-mobileone This repository contains the official implementation of the research paper, "An Improved One millisecond Mobile Backbone". 项目地址: https://gitcode.com/gh_mirrors/ml/ml-mobileone

项目介绍

MobileOne是一款专为移动设备优化的深度学习模型，旨在实现毫秒级的推理速度，同时保持高精度的图像分类性能。该项目基于论文An Improved One millisecond Mobile Backbone，由Apple的研究团队开发。MobileOne在ImageNet-1K数据集上实现了高达75.9%的Top-1准确率，且在iPhone 12 Pro上的推理时间仅为1毫秒，显著优于现有的移动端模型。

项目技术分析

MobileOne的核心技术在于其高效的网络架构设计，能够在极低的延迟下实现高精度的图像分类。模型采用了先进的重参数化技术，通过在训练阶段使用多分支结构，而在推理阶段将其融合为单一分支，从而大幅提升推理速度。此外，MobileOne还支持CoreML模型格式，可以直接在iOS设备上运行，进一步优化了移动端的性能。

项目及技术应用场景

MobileOne适用于各种需要实时图像分类的移动应用场景，如：

• 智能相机：在拍摄照片时实时识别场景或物体，提供智能滤镜或建议。
• 增强现实（AR）：在AR应用中实时识别环境中的物体，提供更丰富的交互体验。
• 移动端图像搜索：用户可以通过拍摄照片，快速搜索相关商品或信息。
• 医疗诊断：在移动设备上进行初步的医学图像分析，辅助医生进行诊断。

项目特点

• 超低延迟：在iPhone 12 Pro上仅需1毫秒的推理时间，满足实时应用需求。
• 高精度：在ImageNet-1K数据集上达到75.9%的Top-1准确率，性能优异。
• 易于使用：提供PyTorch和CoreML模型，支持快速集成到现有应用中。
• 灵活性：支持从零开始训练、微调以及直接使用预训练模型，满足不同开发需求。

使用指南

训练与微调

import torch
from mobileone import mobileone, reparameterize_model

# 从零开始训练或微调
model = mobileone(variant='s0')
# ... 训练 ...

# 加载预训练模型进行微调
checkpoint = torch.load('/path/to/unfused_checkpoint.pth.tar')
model.load_state_dict(checkpoint)
# ... 训练 ...

# 推理模式
model.eval()      
model_eval = reparameterize_model(model)
# 使用model_eval进行测试

直接评估

import torch
from mobileone import mobileone

model = mobileone(variant='s0', inference_mode=True)
checkpoint = torch.load('/path/to/checkpoint.pth.tar')
model.load_state_dict(checkpoint)
# ... 评估/演示 ...

模型库

MobileOne提供了多个版本的预训练模型，适用于不同的精度和延迟需求：

| 模型 | Top-1 准确率 | 延迟* | PyTorch 模型 (url) | CoreML 模型 | | :--- | :---: | :---: | :---: | :---: | | MobileOne-S0 | 71.4 | 0.79 | S0(unfused) | mlmodel | | MobileOne-S1 | 75.9 | 0.89 | S1(unfused) | mlmodel | | MobileOne-S2 | 77.4 | 1.18 | S2(unfused) | mlmodel | | MobileOne-S3 | 78.1 | 1.53 | S3(unfused) | mlmodel | | MobileOne-S4 | 79.4 | 1.86 | S4(unfused) | mlmodel |

*延迟在iPhone 12 Pro上测量。

引用

如果您使用了MobileOne项目，请引用以下论文：

@article{mobileone2022,
  title={An Improved One millisecond Mobile Backbone},
  author={Vasu, Pavan Kumar Anasosalu and Gabriel, James and Zhu, Jeff and Tuzel, Oncel and Ranjan, Anurag},
  journal={arXiv preprint arXiv:2206.04040},
  year={2022}
}

MobileOne不仅是一个技术上的突破，更是移动端AI应用的福音。无论您是开发者还是研究人员，MobileOne都将是您实现高效、低延迟图像分类的理想选择。立即体验MobileOne，开启您的移动端AI之旅！

ml-mobileone This repository contains the official implementation of the research paper, "An Improved One millisecond Mobile Backbone". 项目地址: https://gitcode.com/gh_mirrors/ml/ml-mobileone