- 博客(10)
- 收藏
- 关注
RSS订阅原创 ONNXruntime c++模型推理流程
ONNXruntime运行可以分为三个阶段：Session的构造模型加载和初始化运行模型推理流程Session构造构造阶段即创建一个InferenceSession对象。在python前端构建Session对象时，python端会调用C++中的InferenceSession类构造函数，得到一个InferenceSession对象。
2024-11-28 11:11:31
1153
原创 TenorRT优化与模型转换
精度校准——训练时由于梯度等对于计算精度要求较高，但是inference阶段可以利用精度较低的数据类型加速运算，降低模型的大小，例如FP16，int8，从而加速模型推理速度。层和张量融合——TensorRT中将多个层的操作合并为同一个层，这样就可以一定程度的减少kernel launches和内存读写。比如把主流神经网络的conv、BN、Relu三个层融合为了一个层；把维度相同的张运算组合成另一个大的张量运算。
2024-11-28 10:40:21
1185
原创 python标准库functools 装饰器
装饰器是一种函数，它能够动态地修改或增强其他函数或方法的行为，而无需直接修改它们的代码。functools中的装饰器可以帮助简化代码逻辑、提高代码复用性和效率。本质上是一个接受函数作为输入并返回另一个函数的函数。它允许你在不改变原函数的前提下，为函数添加功能。例如，可以为某个函数添加缓存机制、调试信息、或执行时间记录等功能。
2024-09-11 18:11:02
420
原创 Onnxruntime + c++实现滑动窗口预测
将这个非连续的张量传递给一个期望连续内存的函数（例如某些 ONNX 推理操作，ONNX Runtime 和其他推理引擎通常假设输入数据是连续的），ONNX 导出可能会遇到内存布局不一致的问题，导致推理阶段的数据不正确或效率低下。在部署onnxruntime的时候发现在对tensor进行slice 的时候，加不加contiguous()对结果的影响非常大。调用 .contiguous() 会确保张量以标准的内存布局（在 PyTorch 中是行优先顺序）存储在一个连续的内存块中。
2024-09-02 17:10:38
298
原创 C++ 中itk图像与Tensor的转换
如输入nii图像为【512，512，309】，正确读取的tensor将为【309，512，512】，permute之后为【512，512，309】。在 PyTorch（
2024-09-02 16:37:59
437
1
原创 VS2022配置Onnxruntime
出现 E:onnxruntime:barcode, provider_bridge_ort.cc:995 onnxruntime::ProviderLibrary::Get] LoadLibrary failed with error 126 "找不到指定的模块。最后一步将onnxruntime.dll 加入release文件夹要注意，如果要使用cuda/tensorrt最好把所有dll都放到这个文件夹下。我的是cuda12.x +cudnn8.x。换了gpu-cuda12.1-1.8.1之后问题解决。
2024-08-15 16:14:08
936
原创 VS2022配置ITK5.3.0和VTK & ITK E1696 （cannot open source file “itkeigen/Eigen/Eigenvalues）错误解决
但在配置ITK的时候我下载的是InsightToolkit-5.3.0。完全按照上面步骤配置完了会出现Error (active) E1696 cannot open source file "itkeigen/Eigen/Eigenvalues" test D:\itk\bin\include\ITK-5.3\itkSymmetricEigenAnalysis.h 23。解决方法：打开itk/bulid 可以找到ITKinternalEigen3-build这个文件夹。
2024-08-15 16:03:02
596
原创 Coronary Artery Centerline Extraction in Cardiac CT Angiography Using a CNN-Based Orientation Classi
训练3D dilated CNN 网络，基于局部图像patch预测CCTA图像中任何给定点处血管最可能的方向和半径。用手动或者自动放置在冠状动脉任意位置的单个种子点开始，使用tracker沿两个方向跟踪血管中心线。当没有方向可以被高度置信的时候停止追踪。训练用人为标注的中线进行训练。无需图像预处理。评估指标：average overlap of 93.7% with manually annotated reference centerlines。
2024-06-04 10:27:00
1459
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人