handsofgod的博客

Triton支持多种类型的模型，包括TensorFlow, PyTorch, ONNX, TensorRT, Python等，在实际部署时我们可能会用到其中的一种或多种模型。而且任何深度学习模型部署框架都需要解决三方面的问题。管理多种类型的模型。控制模型的版本，加载和卸载。配置模型的输入和输出上面的问题Triton都已提供了相应的解决方案。具体来说，Triton是通过配置文件来管理模型的版本、输入输出、支撑后端等功能。因此在部署前需要做好的两件事是准备好模型文件model.xx和写好配置文件。

项目场景：使用Tensorflow的keras进行模型构建，然后使用tf.distribute.MirroredStrategy进行多gpu训练问题描述在调试完其他部分然后开始训练，执行model.fit语句时报出了下面的错误，之后程序就停止运行了。Non-OK-status: GpuLaunchKernel( SwapDimension1And2InTensor3UsingTiles<T, NumThreads, TileLongSide, TileShortSide>, total