TNN项目中ncnn模型的使用与适配指南

TNN项目中ncnn模型的使用与适配指南

TNN TNN: developed by Tencent Youtu Lab and Guangying Lab, a uniform deep learning inference framework for mobile、desktop and server. TNN is distinguished by several outstanding features, including its cross-platform capability, high performance, model compression and code pruning. Based on ncnn and Rapidnet, TNN further strengthens the support and performance optimization for mobile devices, and also draws on the advantages of good extensibility and high performance from existed open source efforts. TNN has been deployed in multiple Apps from Tencent, such as Mobile QQ, Weishi, Pitu, etc. Contributions are welcome to work in collaborative with us and make TNN a better framework. 项目地址: https://gitcode.com/gh_mirrors/tn/TNN

前言

在深度学习模型部署领域，ncnn是一个广受欢迎的高性能神经网络前向计算框架。作为腾讯优图实验室推出的TNN（腾讯神经网络）项目，为了更好地服务开发者社区，提供了对ncnn模型的兼容支持。本文将详细介绍如何在TNN中使用ncnn模型，以及当前支持的算子情况。

ncnn模型在TNN中的使用

初始化配置

要在TNN中使用ncnn模型，首先需要在初始化网络配置时明确指定模型类型为MODEL_TYPE_NCNN。这是关键的第一步，确保TNN能够正确解析ncnn格式的模型文件。

ModelConfig model_config;
model_config.model_type = MODEL_TYPE_NCNN;  // 指定模型类型为ncnn
TNN net;
Status ret = net.Init(model_config);
auto instance = net.CreateInst(network_config, ret);

输入形状设置

ncnn模型的.param文件中通常会包含输入层的形状信息。如果该信息缺失，开发者需要在创建Instance时显式指定输入形状：

InputShapesMap input_shape;
input_shape["input_name"] = {1, 3, 224, 224};  // 批次大小、通道数、高度、宽度
auto instance = net.CreateInst(network_config, ret, input_shape);

这个步骤对于确保模型正确运行至关重要，特别是在处理动态输入形状的模型时。

使用流程

除了上述特殊配置外，ncnn模型在TNN中的使用流程与其他模型类型完全一致，包括：

1. 模型加载
2. 输入数据准备
3. 前向推理
4. 输出结果处理

这种一致性设计大大降低了开发者的学习成本。

ncnn算子适配情况

TNN项目对ncnn算子的支持情况如下表所示，涵盖了大部分常用算子：

基础运算类算子

| 算子名称 | 支持状态 | 备注 | |----------------|----------|----------------| | AbsVal | ✅ | 绝对值运算 | | BinaryOp | ✅ | 二元运算 | | UnaryOp | ✅ | 一元运算 | | Power | ✅ | 幂运算 |

神经网络核心算子

| 算子名称 | 支持状态 | 备注 | |-------------------------|----------|--------------------------| | Convolution | ✅ | 标准卷积 | | ConvolutionDepthWise | ✅ | 深度可分离卷积 | | Deconvolution | ✅ | 反卷积 | | InnerProduct | ✅ | 全连接层 | | Pooling | ✅ | 池化层 | | BatchNorm | ✅ | 批归一化 | | InstanceNorm | ✅ | 实例归一化 |

激活函数类

| 算子名称 | 支持状态 | 备注 | |----------------|----------|----------------| | ReLU | ✅ | 线性整流单元 | | Sigmoid | ✅ | S型激活函数 | | TanH | ✅ | 双曲正切函数 | | HardSwish | ✅ | 硬Swish激活 |

张量操作类

| 算子名称 | 支持状态 | 备注 | |----------------|----------|----------------| | Concat | ✅ | 张量拼接 | | Slice | ✅ | 张量切片 | | Reshape | ✅ | 形状重塑 | | Permute | ✅ | 维度重排 |

特殊功能类

| 算子名称 | 支持状态 | 备注 | |-----------------|----------|-----------------------| | DetectionOutput | ✅ | 目标检测输出处理 | | PriorBox | ✅ | 先验框生成 | | Interp | ✅ | 插值操作 |

注意事项

1. 量化模型支持：目前对ncnn的Int8量化模型适配仍在进行中，建议暂时使用FP32模型

2. 不支持的算子：遇到不支持的算子时，TNN会给出明确的错误提示，开发者可以根据实际情况选择：

   • 等待官方支持
   • 修改模型结构
   • 自行实现自定义层

3. 性能优化：虽然TNN支持ncnn模型，但为了获得最佳性能，建议将模型转换为TNN原生格式

实际应用建议

1. 模型转换：对于生产环境，建议将ncnn模型转换为TNN原生格式，以获得更好的性能和兼容性

2. 输入预处理：确保输入数据的格式和归一化方式与模型训练时一致

3. 输出解析：根据模型的具体任务（分类、检测等）正确解析输出结果

4. 性能测试：在实际设备上进行充分的性能测试，特别是对于移动端部署场景

总结

TNN项目对ncnn模型的支持为开发者提供了更大的灵活性，使得现有的ncnn模型能够无缝迁移到TNN平台。通过本文的介绍，开发者可以快速掌握在TNN中使用ncnn模型的方法，并根据算子支持情况做出合理的技术决策。随着项目的不断发展，TNN对ncnn的支持将会更加完善，为开发者带来更好的体验。

TNN TNN: developed by Tencent Youtu Lab and Guangying Lab, a uniform deep learning inference framework for mobile、desktop and server. TNN is distinguished by several outstanding features, including its cross-platform capability, high performance, model compression and code pruning. Based on ncnn and Rapidnet, TNN further strengthens the support and performance optimization for mobile devices, and also draws on the advantages of good extensibility and high performance from existed open source efforts. TNN has been deployed in multiple Apps from Tencent, such as Mobile QQ, Weishi, Pitu, etc. Contributions are welcome to work in collaborative with us and make TNN a better framework. 项目地址: https://gitcode.com/gh_mirrors/tn/TNN