BokyLiu的博客

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar

函数讲解：ONNX-TensorRT IPluginV2虚函数之supportsFormat前言这半年一直在做华为云相关的东西，对tensorrt的了解一直停留在5.1.5的阶段。正好现在有机会，跟进一波tensorrt7。在tensorrt7更新到了7之后，实现了动态batch推理，并且支持的op也大幅度增加了，可以说基本上满足部署的需求了。本来心中一阵窃喜可以舒舒服服的完成工作，但事实是：需求和技术总是你追我赶的，两者永远不能和谐共存。扯远了，下面讲正题，现在需要注册一个可变卷积核的conv到ten

Graph must be in single static assignment (SSA) form, however ‘848’ has been used as output names multiple times.用torch1.5导出onnx模型后，进行图优化出现如题问题。经多方查证这个是onnx的bug，torch1.5导出的onnx版本为v6，更换torch1.3导出v4版本的onnx模型问题解决。或者在图优化命令中添加参数--skip-fuse-bn，不融合bn层，也可以优化v6版本

如何在Netron中看到每一层的shape

问题起因今天在导出onnx的时候，有一个AvgPool2d层是如下定义的self.resnetv1d_down3_pool0_fwd = nn.AvgPool2d(kernel_size=(2, 2), stride=(2, 2), padding=(0, 0), count_include_pad=False, ceil_mode=True)而它导出的onnx图中参数为：Float(1, 80, 20, 36) = onnx::AveragePool[kernel_shape=[2, 2], p

/home/face/onnx-tensorrt-5.1/PRelu_Plugin.cu(112): error: more than one operator “" matches these operands:built-in operator “arithmetic * arithmetic”function "operator(const __half &, const __h...

在自己注册TensorRT Op时发现出现错误如下：Unsupported ONNX data type: UINT8 (2)ERROR: /home/bokyliu/Work/TensorRT-5.1.5.0/onnx-tensorrt-5.1/ModelImporter.cpp:615 In function importModel:[8] Assertion failed: conve...

测试结果模型：mobilenet-v2devicecaffe2pytorchcuda90ms8mscpu24ms10ms附import onnximport datetime# Load the ONNX modelmodel = onnx.load("model/mobilenet-v2_100.onnx")# Check that th...

ResizeNearest.hpp:/* * Copyright (c) 2018, NVIDIA CORPORATION. All rights reserved. * * Permission is hereby granted, free of charge, to any person obtaining a * copy of this software and associa...

TensorRT对ONNX [Batchnorm1d]的替代方案将Batchnorm1d换为conv+Batchnorm2d

nvidia迟迟不更行 终端上的TensorRT，没办法，只能自己注册了。拜读了几位大佬的blogTensorRT5.1.5.0 实践 onnx-TensorRT的自定义op，看到builtin_op_importers.cpp的理解那里有点不理解，为什么input[0], input[1], input[2]分别代表conv输入的tensor、weight和bias。后来想到看看onnx图：...

使用TVM在Tx2 Arm上部署AirFace c++目录前言自动优化终端测试目录前言不要问为什么Tx2要用Arm核，它只是开发方便，习惯把它作工业母机罢了。自动优化TVM一个设计亮点在于他可以在PC端通过RPC优化网络，这个大大加快了优化速度。虽说PC端加速优化过程，但是在实际使用中发现优化速度还是很慢的，也是一个炼丹过程。而且极端依赖CPU性能，在TVM给出的例子都是用32线程服务...

TVM relay opt_level说明tvm.relay.transformParamtersReturnsReturn type最近在研究TVM，一直对opt_level应该怎么填有疑惑 with relay.build_config(opt_level=1): graph, lib, params = relay.build_module.buil...

TVM踩坑记录安装新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入安装参照官网。安装完成后安装官网quic...