Menoh: 快速的多语言支持深度学习推理库

Menoh: 快速的多语言支持深度学习推理库

menoh Menoh: fast DNN inference library with multiple programming language support 项目地址: https://gitcode.com/gh_mirrors/me/menoh

项目介绍

Menoh是一个基于MIT许可发布的深度学习推理库，提供了C API和C++ API。它旨在实现CPU上的DNN（深度神经网络）推断，并且支持ONNX模型格式，便于模型的迁移和使用。虽然该项目目前不再维护，其部分功能已被chainer-compiler继承。值得注意的是，Menoh作为实验性工具，使用者需自行承担风险，特别是并非所有ONNX运算符都得到支持。经验证，VGG16和ResNet50等模型通过onnx-chainer转换后在Menoh中运行良好。

项目快速启动

环境准备

确保系统中安装了MKL-DNN（版本0.14或更高）和Protocol Buffers（版本2.6.1或以上）。

安装步骤

使用预编译包（以Ubuntu为例）

对于Ubuntu 16.04或18.04用户，可通过以下命令下载并安装预编译的库文件：

curl -LO https://github.com/pfnet-research/menoh/releases/download/v1.1/ubuntu[1604/1804]_mkl-dnn_0.16-1_amd64.deb
curl -LO https://github.com/pfnet-research/menoh/releases/download/v1.1/ubuntu[1604/1804]_menoh_1.1.1-1_amd64.deb
curl -LO https://github.com/pfnet-research/menoh/releases/download/v1.1/ubuntu[1604/1804]_menoh-dev_1.1.1-1_amd64.deb
sudo apt install ./ubuntu[1604/1804]*_amd64.deb

从源码编译安装

如果你更偏好从源码编译，可以遵循以下步骤：

1. 克隆项目到本地。
2. 运行脚本获取数据。
3. 创建构建目录并执行CMake配置。
4. 编译并安装。

示例命令序列如下：

git clone https://github.com/pfnet-research/menoh.git
cd menoh
python scripts/retrieve_data.py
mkdir build && cd build
cmake ..
make
sudo make install

快速运行示例

在完成安装后，你可以运行VGG16的示例来测试Menoh库的功能：

cd ../example
./vgg16_example_in_cpp

应用案例和最佳实践

Menoh的一个典型应用场景是进行快速的模型推理，特别是在那些需要集成多种编程语言的项目中。开发者可以在C/C++应用程序中直接调用Menoh库进行模型推理，或者利用其提供的语言绑定（如C#、Go、Haskell、Node.js、Ruby、Rust等），将已训练好的ONNX模型应用于各种不同的软件环境中。最佳实践中，建议先确认目标模型的运算符是否被Menoh支持，并充分测试模型在不同环境下的性能和兼容性。

典型生态项目

Menoh通过其丰富的语言绑定，在多个生态系统中找到了应用。例如：

• Chainer与ONNX集成：通过onnx-chainer，Chainer训练的模型可以轻松转换成ONNX格式，进而由Menoh进行推理。
• 跨平台开发：借助如Menoh-sharp（C#）、go-menoh（Go）、node-menoh（Node.js）等封装，使得Menoh能够在不同的平台和开发语言间灵活运用。
• 研究与教育：在机器学习的研究及教学场景中，Menoh因其简洁的API设计，成为展示模型推理流程的理想工具。

通过这些生态项目和组件，Menoh不仅支持基础的深度学习推理需求，还促进了技术的普及和多样性应用的发展。

menoh Menoh: fast DNN inference library with multiple programming language support 项目地址: https://gitcode.com/gh_mirrors/me/menoh