Tencent/TNN深度学习推理框架单元测试完全指南

Tencent/TNN深度学习推理框架单元测试完全指南

TNN TNN: developed by Tencent Youtu Lab and Guangying Lab, a uniform deep learning inference framework for mobile、desktop and server. TNN is distinguished by several outstanding features, including its cross-platform capability, high performance, model compression and code pruning. Based on ncnn and Rapidnet, TNN further strengthens the support and performance optimization for mobile devices, and also draws on the advantages of good extensibility and high performance from existed open source efforts. TNN has been deployed in multiple Apps from Tencent, such as Mobile QQ, Weishi, Pitu, etc. Contributions are welcome to work in collaborative with us and make TNN a better framework. 项目地址: https://gitcode.com/gh_mirrors/tn/TNN

单元测试概述

在深度学习推理框架开发中，单元测试是确保框架稳定性和正确性的重要手段。Tencent/TNN框架中的单元测试系统经过精心设计，主要服务于两个核心目的：

1. 功能验证：确保各个算子(OP)在不同硬件平台(ARM/OpenCL/Metal)上的计算结果准确无误
2. 性能评估：在不依赖完整模型的情况下，独立测试算子的执行效率

技术实现原理

TNN框架采用分层设计架构，其中Layer类型主要负责处理与计算无关的逻辑（如Blob形状推理等），而具体的计算实现则由各平台的layer_acc（计算加速模块）完成。这种设计使得：

• 测试时可以通过对比不同层的计算结果来验证正确性
• 性能测试可以精确到单个算子的执行效率
• 跨平台一致性测试变得可行

完整使用指南

编译配置

要启用单元测试功能，需要在编译时开启以下选项：

TNN_UNIT_TEST_ENABLE=ON      # 启用单元测试功能
TNN_BENCHMARK_ENABLE=ON      # 如需性能测试需同时开启此选项

测试执行

编译完成后，可通过以下命令运行测试：

./test/unit_test/unit_test -ic 1 [其他参数]

常用参数说明：

| 参数 | 说明 | 可选值 | 默认值 | |------|------|--------|--------| | -ic | 测试重复次数 | 正整数 | 1 | | -dt | 目标设备类型 | ARM/OPENCL/METAL | 无 | | -lp | 动态库加载路径 | 有效路径 | 无 | | -th | 线程数 | 正整数 | 1 | | -ub | 性能数据输出 | 0(关闭)/1(开启) | 0 |

典型测试场景示例

1. ARM平台功能验证：

./test/unit_test/unit_test -dt ARM -th 4

2. Metal平台性能测试：

./test/unit_test/unit_test -dt METAL -ub 1

3. OpenCL多线程测试：

./test/unit_test/unit_test -dt OPENCL -th 8 -lp /path/to/opencl_lib

高级配置与自定义

测试框架使用GTEST的WithParamInterface接口生成多种参数组合。如需自定义测试参数，可以修改以下关键部分：

1. 测试参数宏：查找并修改INSTANTIATE_TEST_SUITE_P宏相关代码
2. 测试数据集：调整测试输入张量的维度和数值范围
3. 精度阈值：根据需求修改结果对比的误差允许范围

最佳实践建议

1. 跨平台测试：建议在ARM/OpenCL/Metal等多个平台上运行相同测试，确保跨平台一致性
2. 性能基准：建立性能基准线，定期对比性能变化
3. 回归测试：将关键测试纳入持续集成流程
4. 参数覆盖：确保测试覆盖常见和不常见的参数组合

通过这套完善的单元测试系统，开发者可以高效验证TNN框架的正确性和性能，为深度学习推理提供可靠保障。

TNN TNN: developed by Tencent Youtu Lab and Guangying Lab, a uniform deep learning inference framework for mobile、desktop and server. TNN is distinguished by several outstanding features, including its cross-platform capability, high performance, model compression and code pruning. Based on ncnn and Rapidnet, TNN further strengthens the support and performance optimization for mobile devices, and also draws on the advantages of good extensibility and high performance from existed open source efforts. TNN has been deployed in multiple Apps from Tencent, such as Mobile QQ, Weishi, Pitu, etc. Contributions are welcome to work in collaborative with us and make TNN a better framework. 项目地址: https://gitcode.com/gh_mirrors/tn/TNN