PyTorch 1.7+用户必看:解决mmdet3d安装中THC.h报错的两种实用方案

PyTorch 1.7+用户必看:解决mmdet3d安装中THC.h报错的3种实用方法 本文针对PyTorch 1.7及以上版本用户在安装mmdet3d时遇到的经典'THC.h'报错问题,深入剖析了其根源在于PyTorch架构升级。文章提供了三种实用解决方案:版本降级法、文件替换法以及代码修改与补丁法,并详细分析了各方案的适用场景与操作步骤,帮助3D目标检测开发者快速搭建稳定环境。 阅读详情

PyTorch 1.7+ 时代:深度拆解mmdet3d安装中的THC.h兼容性困局与实战突围

最近在帮几个做自动驾驶和机器人感知的朋友搭建开发环境,一个高频出现的“拦路虎”就是mmdet3d的安装。尤其是在大家普遍使用PyTorch 1.7及以上版本的情况下,那个经典的THC.h头文件缺失报错,几乎成了必经的“新手村考验”。很多人第一反应是降级PyTorch,但这往往又会引发一系列新的依赖冲突,让人头疼不已。这篇文章,我们就来彻底搞懂这个问题的来龙去脉,并为你提供两种经过实战检验的解决方案。我们的目标不仅仅是让代码跑起来,更是让你理解背后的“为什么”,从而在未来面对类似兼容性问题时,能够从容应对。

1. 追根溯源:THC.h为何在PyTorch 1.7+中消失?

要解决问题,先得理解问题。THC.h这个文件,对于早期使用PyTorch进行CUDA编程的开发者来说,可能并不陌生。它曾是PyTorch CUDA后端(Torch CUDA)的核心头文件之一,全称是“Torch CUDA”。在PyTorch的早期架构中,THC(Torch CUDA)和TH(Torch,CPU版本)是两套相对独立的C扩展接口,为底层的张量操作提供支持。

然而,随着PyTorch的飞速发展,其内部架构经历了重大的重构。一个核心的演进方向是统一化和模块化。PyTorch团队致力于将CPU和GPU的后端代码进行整合,减少冗余,并提供更清晰、更现代的API。这个重构过程的里程碑之一,就是ATen库的崛起和TH/THC的逐步退役。

ATen(A Tensor Library)成为了PyTorch新的核心张量运算库。它从设计之初就考虑了CPU和GPU代码的统一,提供了更高效的底层实现。从PyTorch 1.0开始,ATen的重要性日益凸显,而TH/THC这套旧的C接口则被标记为“遗留代码”(legacy code)。

到了PyTorch 1.7版本,官方正式移除了对THC.h等一批旧头文件的公开支持。这意味着,如果你在PyTorch 1.7+版本的安装目录下寻找THC.h,你会发现它已经不复存在。它的功能被拆分并整合到了ATen/cuda/目录下的新头文件中,例如:

  • ATen/cuda/CUDAContext.h
  • ATen/cuda/CUDAEvent.h
  • ATen/cuda/Exceptions.h

这个变化对于PyTorch核心框架的维护者和大多数纯Python用户来说是透明的、积极的。但对于那些依赖PyTorch C++/CUDA扩展的第三方库(比如我们遇到的mmdet3d),如果其扩展代码没有及时跟进PyTorch的API变更,就会在编译时因为找不到THC.h而失败。

注意:这里的“移除公开支持”是指从torch/include这样的公开头文件路径中移除了。PyTorch源码内部可能仍有相关遗留代码,但用户不应再直接引用THC.h。

我们可以用一个简单的表格来对比一下新旧接口的变化:

特性旧接口 (THC)新接口 (ATen cuda)说明
核心头文件THC/THC.h, THC/THCGeneral.hATen/cuda/CUDAContext.h 等新接口更模块化
状态管理extern THCState *state;通过 at::globalContext() 等访问全局状态管理方式改变
设备属性THCState_getCurrentDevice(state)at::cuda::current_device()获取当前CUDA设备
流管理THCState_getCurrentStream(state)at::cuda::getCurrentCUDAStream()获取当前CUDA流

理解了这个背景,我们就能明白,mmdet3d(特别是其早期版本)中某些自定义CUDA算子(Ops)的C++源码,仍然写着#include <THC/THC.h>,这在新版PyTorch环境下自然无法编译通过。

2. 方案一:降级PyTorch版本——最直接但需权衡的路径

当遇到兼容性问题时,最直观的想法就是让环境退回两者兼容的状态。既然mmdet3d的某些版本需要THC.h,而PyTorch 1.7+没有,那么安装一个PyTorch 1.6或更早的版本,似乎就能一劳永逸。

操作步骤通常如下:

  1. 卸载当前PyTorch:

    pip uninstall torch torchvision torchaudio
    

    如果使用conda,则是:

    conda uninstall pytorch torchvision torchaudio
    
  2. 安装指定旧版本。以安装PyTorch 1.6.0(CUDA 11.0版本)为例,可以去PyTorch历史版本官网查找对应命令。

    # 示例命令,具体请根据你的CUDA版本和平台调整
    pip install torch==1.6.0+cu110 torchvision==0.7.0+cu110 -f https://download.pytorch.org/whl/torch_stable.html
    
  3. 重新安装或编译mmdet3d。

这个方法优点非常明显:操作简单,几乎无需修改代码,能最快让项目跑起来。特别适合以下场景:

  • 你只是临时需要运行某个基于旧版mmdet3d的预训练模型或Demo。
  • 你的整个项目工具链(其他依赖库)都锁定在较旧的版本上,升级成本极高。
  • 你对C++代码不熟悉,不希望修改底层算子。

但是,选择降级意味着你需要接受它的显著缺点:

  • 功能缺失:你将无法使用PyTorch 1.7+引入的新特性、性能优化和重要的Bug修复。例如,更好的分布式训练支持、新的算子、效率更高的内核等。
  • 安全风险:旧版本可能包含已知的安全漏洞。
  • 依赖地狱:PyTorch通常不是孤立存在的。你项目中的其他库(如torchvision, torchaudio, 一些最新的模型库)可能要求更高版本的PyTorch。强行降级可能导致这些库无法安装或运行出错,你需要为它们也寻找匹配的旧版本,陷入复杂的依赖关系调整中。
  • 未来兼容性差:当你后续想引入一个依赖PyTorch 1.10+的新模块时,会再次面临冲突。

因此,降级方案更像是一个快速原型验证或遗留项目维护的权宜之计。对于打算长期迭代、希望利用最新技术成果的项目,我们需要更优的解决方案。

3. 方案二:修改源码适配新API——一劳永逸的进阶选择

既然问题的根源是mmdet3d的源码引用了已废弃的API,那么最根本的解决办法就是修改这些源码,让其适配新的PyTorch ATen CUDA接口。这需要一些C++和PyTorch扩展的知识,但操作本身并不复杂。

核心修改原则就两条:

  1. 替换头文件:将 #include <THC/THC.h> 替换为新的ATen CUDA头文件。
  2. 替换API调用:将基于THCState的旧API调用,改为新的ATen CUDA API。

让我们结合mmdet3d中常见的需要修改的文件,来看几个具体的例子。通常,这些文件位于 mmdetection3d/mmdet3d/ops/ 目录下,例如 ball_query.cpp, knn.cpp, furthest_point_sample.cpp 等。

3.1 头文件替换与状态变量处理

在旧代码中,你可能会看到这样的开头:

// 旧代码 (ball_query.cpp 示例片段)
#include <THC/THC.h>
#include <torch/serialize/tensor.h>
#include <vector>
#include <ATen/cuda/CUDAContext.h>

extern THCState *state; // 全局THC状态指针

int ball_query_wrapper_fast(int b, int n, int m, float radius, int nsample, 
    at::Tensor new_xyz_tensor, at::Tensor xyz_tensor, at::Tensor idx_tensor) {
    // ... 函数体内部使用 state
}

修改的第一步是替换头文件并处理掉THCState:

// 新代码
// 移除 #include <THC/THC.h>
#include <ATen/cuda/CUDAContext.h> // 引入新的上下文头文件
#include <ATen/cuda/CUDAEvent.h>   // 如果需要事件操作则引入
#include <torch/serialize/tensor.h>
#include <vector>

// 注释掉或删除 extern THCState *state;
// extern THCState *state; // 这行不再需要

int ball_query_wrapper_fast(int b, int n, int m, float radius, int nsample, 
    at::Tensor new_xyz_tensor, at::Tensor xyz_tensor, at::Tensor idx_tensor) {
    // 函数体内,原先使用state的地方需要修改
}

3.2 常见API调用的修改示例

在函数体内,原先依赖state的调用需要找到对应的新API。以下是一些常见模式的转换:

  • 获取当前CUDA流:

    // 旧方式
    cudaStream_t stream = THCState_getCurrentStream(state);
    
    // 新方式
    cudaStream_t stream = at::cuda::getCurrentCUDAStream();
    
  • 获取当前设备索引:

    // 旧方式
    int device = THCState_getCurrentDevice(state);
    
    // 新方式
    int device = at::cuda::current_device();
    
  • 为CUDA内核启动配置网格和块大小:这部分逻辑通常不变,但可能不再需要从state获取设备属性来计算。你可以直接使用at::cuda::getCurrentDeviceProperties()来获取设备属性,或者根据经验设置。

  • THCudaCheck:用于检查CUDA运行时API调用错误的宏。

    // 旧方式 (可能通过THC.h定义)
    THCudaCheck(cudaMalloc(...));
    
    // 新方式:ATen提供了类似的宏,或者可以直接使用
    AT_CUDA_CHECK(cudaMalloc(...));
    // 或者,如果你包含了 <c10/cuda/CUDAException.h>
    C10_CUDA_CHECK(cudaMalloc(...));
    

一个更完整的修改示例,以某个内核启动前的准备代码为例:

// 假设旧代码片段
extern "C" int my_op_forward_cuda(...) {
    // ...
    THCState *state = at::globalContext().lazyInitCUDA(); // 旧式初始化(如果存在)
    cudaStream_t stream = THCState_getCurrentStream(state);
    dim3 blocks(DIVUP(N, THREADS_PER_BLOCK));
    dim3 threads(THREADS_PER_BLOCK);
    my_kernel<<<blocks, threads, 0, stream>>>(...);
    // ...
}

// 修改为新代码
extern "C" int my_op_forward_cuda(...) {
    // ...
    // 不再需要显式获取state。直接获取当前流。
    cudaStream_t stream = at::cuda::getCurrentCUDAStream();
    dim3 blocks(DIVUP(N, THREADS_PER_BLOCK));
    dim3 threads(THREADS_PER_BLOCK);
    my_kernel<<<blocks, threads, 0, stream>>>(...);
    // 错误检查建议使用新宏
    AT_CUDA_CHECK(cudaGetLastError());
    // ...
}

3.3 实战修改清单与定位技巧

对于mmdet3d,你需要检查并修改所有包含THC.h引用的.cpp和.cu文件。一个高效的定位方法是利用编译报错信息。

  1. 首次尝试编译:运行mmdet3d的安装命令(如 python setup.py develop)。
  2. 解读错误:编译器会明确告诉你哪个文件的哪一行找不到THC/THC.h。例如:
    fatal error: THC/THC.h: No such file or directory
    #include <THC/THC.h>
    
  3. 顺藤摸瓜:根据报错文件路径,用文本编辑器或IDE打开该文件。
  4. 系统化修改:在该文件中,执行我们上面提到的修改:
    • 删除或注释掉 #include <THC/THC.h>。
    • 添加必要的ATen头文件(#include <ATen/cuda/CUDAContext.h> 是最常见的)。
    • 搜索整个文件,找到所有使用state变量的地方,将其替换为新的API。
    • 注意查找类似THCudaCheck的宏,替换为AT_CUDA_CHECK。
  5. 重复过程:解决一个文件的错误后,重新编译,编译器会抛出下一个文件的错误。重复步骤2-4,直到所有相关文件修改完毕。

一个典型的mmdet3d v0.x版本可能需要修改的算子文件列表可能包括:

  • ball_query.cpp
  • knn.cpp
  • group_points.cpp
  • interpolate.cpp
  • furthest_point_sample.cpp
  • gather_points.cpp
  • 以及它们对应的.cu内核文件(如果存在且包含THC引用)。

提示:在修改.cu文件(CUDA内核文件)时,可能只需要替换头文件,因为内核函数本身可能不直接使用THCState,但包装它的C++函数会使用。务必检查整个调用链。

4. 方案对比与决策指南:如何选择最适合你的路?

现在我们已经掌握了两种解决方案。在实际项目中,该如何选择呢?这取决于你的具体需求、技术栈和项目阶段。

为了更直观地对比,我将两种方案的核心特点总结如下:

考量维度方案一:降级PyTorch方案二:修改源码
技术难度低,仅需包管理命令。中,需阅读C++代码,理解API映射。
实施速度快,几分钟即可完成环境切换。中等,需逐个文件修改并测试,耗时半小时到数小时不等。
长期收益低,环境被锁定在旧版本。高,代码适配了新版本,可享受PyTorch新特性。
项目兼容性可能引发新冲突,其他依赖可能需同步降级。好,与主流PyTorch版本兼容,便于引入新库。
适用场景1. 快速验证、测试、演示。
2. 维护无法修改源码的遗留项目。
3. 对PyTorch新特性无需求。
1. 长期维护的开源或商业项目。
2. 需要利用PyTorch最新优化。
3. 团队具备一定的C++调试能力。
风险依赖链断裂,安全漏洞,功能落后。修改可能引入新Bug,需充分测试。

决策流程建议:

你可以通过回答下面几个问题来快速决策:

  1. 这个项目是短期原型还是长期产品?

    • 短期原型 -> 强烈考虑方案一,追求速度。
    • 长期产品 -> 倾向于方案二,为未来投资。
  2. 项目是否严重依赖其他前沿库(如最新的Diffusion模型库、TorchVision新功能等)?

    • 是 -> 方案二几乎是唯一选择,因为新库通常要求高版本PyTorch。
    • 否 -> 两种方案均可,再结合其他因素判断。
  3. 团队是否有能力理解和修改C++ CUDA扩展代码?

    • 有能力/愿意学习 -> 方案二可行,这是一个很好的学习机会。
    • 无能力/时间紧迫 -> 方案一更稳妥。
  4. 这个错误是发生在你自己项目的编译中,还是发生在安装第三方预编译包时?

    • 自己项目编译 -> 两种方案都可行。
    • 安装预编译包 -> 通常只能选择方案一(寻找匹配的旧版本PyTorch预编译包),或者联系库作者更新。

对于大多数致力于前沿3D检测研究的开发者和团队,我个人的经验是:花点时间实施方案二,通常是更值得的。它不仅解决了当前问题,还让你的代码库跟上了主流框架的演进,避免了未来更多的兼容性麻烦。这个过程就像给代码做一次“版本升级手术”,虽然有点麻烦,但术后恢复良好,生命力更强。

5. 避坑指南与深度测试:确保修改后的稳定性

选择了方案二并完成了代码修改,并不意味着大功告成。编译通过只是第一步,确保算子功能正确、性能无损才是关键。以下是一些关键的测试和验证步骤,帮你避开潜在的坑。

5.1 编译与链接验证

修改完所有文件后,重新运行安装命令。确保编译过程没有警告和错误。特别注意链接阶段,确保没有未定义的符号(undefined reference),这通常意味着头文件替换或API调用修改有误。

# 在mmdet3d项目根目录下,常见的安装命令
pip install -v -e .  # 推荐使用-v查看详细编译过程
# 或
python setup.py develop

编译成功后,可以在Python中简单导入验证:

import torch
import mmdet3d
print(mmdet3d.__version__)
# 尝试导入一个包含自定义算子的模块
from mmdet3d.ops import ball_query

5.2 功能正确性测试

mmdet3d通常自带测试用例或Demo。运行这些测试是验证功能是否正常的最直接方法。

  1. 运行单元测试(如果存在):

    pytest tests/test_ops/test_ball_query.py -xvs
    

    如果测试文件不存在,可以查看tests/目录下相关的测试文件。

  2. 创建最小化测试脚本:针对你修改过的算子,编写一个简单的脚本,对比修改前后算子的输入输出。如果手头有PyTorch 1.6的环境,可以在两个环境中运行同一个脚本进行对比。

    # test_ball_query_simple.py
    import torch
    from mmdet3d.ops.ball_query import ball_query
    
    # 构造随机数据
    B, N, M = 2, 512, 128
    radius = 0.2
    nsample = 16
    new_xyz = torch.randn(B, M, 3).float().cuda()
    xyz = torch.randn(B, N, 3).float().cuda()
    
    # 执行算子
    idx = ball_query(radius, nsample, xyz, new_xyz)
    
    print(idx.shape)  # 应为 (B, M, nsample)
    # 可以进一步检查输出值是否在合理范围内(例如,索引不应越界)
    assert idx.max() < N and idx.min() >= -1, "索引值越界!"
    print("基本功能测试通过。")
    
  3. 前向-反向传播测试:确保算子的梯度计算正确。这是深度学习算子正确性的核心。

    # 为输入张量开启梯度追踪
    new_xyz.requires_grad_(True)
    xyz.requires_grad_(True)
    
    idx = ball_query(radius, nsample, xyz, new_xyz)
    # 假设一个简单的损失函数,例如对索引对应的原始点坐标求和
    # 注意:ball_query返回的是索引,直接对索引求导无意义。
    # 通常需要构造一个依赖算子输出的可微损失。这里仅为流程示例。
    # 更实际的测试是运行一个包含该算子的完整网络的前向后向。
    loss = idx.float().sum() # 仅为示例,实际意义不大
    loss.backward()
    
    print("梯度回传未报错。")
    # 检查梯度是否存在
    print(xyz.grad is not None, new_xyz.grad is not None)
    

5.3 性能与数值稳定性考量

  • 性能对比:如果条件允许,在修改前后的环境下,对算子的运行时间进行粗略对比。由于ATen后端通常经过优化,性能不应有显著下降,甚至可能提升。可以使用torch.cuda.Event来计时。
  • 数值稳定性:关注极端输入情况(如空点云、半径极小等)。确保算子不会崩溃或产生非法值(如NaN或inf)。

5.4 集成到训练流程测试

最终极的测试是将修改后的mmdet3d集成到你的实际训练 pipeline 中。用一个小数据集(如KITTI的一个子集)跑几个训练迭代(epoch),观察:

  • 训练是否能正常启动。
  • 损失是否正常下降(而不是NaN或爆炸)。
  • 验证集上的指标是否与预期相符。

常见问题排查:

  • 编译通过,但导入时报错:可能是动态链接库加载失败。检查CUDA版本、PyTorch版本和编译时环境是否一致。尝试重新编译。
  • 运行时报CUDA错误(如 illegal memory access):这通常是最棘手的,表明内核代码中对内存的访问有问题。虽然头文件替换不会直接导致此问题,但如果修改过程中误改了内核启动配置(如网格、线程数)或内存访问指针,就可能引发。需要仔细核对内核启动参数和全局/共享内存的使用。
  • 结果与之前不一致:如果同时有旧版本环境的输出结果作为基准(ground truth),可以进行逐元素对比。细微差异可能源于随机数或浮点计算顺序,但大面积差异则表明修改有逻辑错误。重点检查替换API时,是否错误地改变了设备、流或内存指针的语义。

完成以上所有测试并确认无误后,你就可以自信地在新版PyTorch上使用mmdet3d了。这个过程虽然有些挑战,但能让你对PyTorch的底层扩展机制和版本演进有更深刻的理解,这份经验在解决其他库的类似问题时将变得无比宝贵。

解决mmdet3d安装中因PyTorch高版本引发的THC.h缺失问题 本文详细分析了在安装mmdet3d时,因PyTorch版本过高导致THC.h头文件缺失的常见报错问题。文章指出该错误的本质是PyTorch 1.7+版本废弃了旧API,与老版本C++扩展代码不兼容。提供了两种核心解决方案:一是降级PyTorch至1.6及以下版本;二是修改源码,将THC.h引用替换为ATen/cuda等新头文件,并给出了具体的代码修改示例和排查技巧。 阅读详情

相关推荐

mmdet3d安装避坑指南:解决PyTorch高版本THC.h报错(附详细文件修改步骤)

本文针对在安装mmdet3d时因PyTorch版本过高导致的THC.h报错问题,提供了详细的解决方案。通过深入分析PyTorch版本演进与THC模块的退役原因,指导用户在不降级PyTorch的前提下,定位并修改源码中的相关依赖,将THC调用迁移至ATen API,并附上具体的文件修改步骤与脚本示例,帮助开发者成功完成编译与部署。

weixin_29053067的博客 217

mmdet3d环境配置避坑指南:从THC.h报错看PyTorch版本管理的艺术

本文详细解析了mmdet3d环境配置中常见的THC.h报错问题,揭示了PyTorch版本管理的复杂性。通过三种解决方案(降级PyTorch版本、修改源代码、使用Docker环境)和深度版本管理策略,帮助开发者有效应对环境配置挑战,提升开发效率。

night的博客 1008

SpotBugs实战:10大类Bug检测规则详解与代码优化实例(附避坑清单)

本文深入解析SpotBugs在Java开发中的实战应用,详细讲解10大类Bug检测规则与代码优化实例,包括NPE防御、多线程安全、性能优化等关键问题。通过具体代码示例和避坑清单,帮助开发者提升代码质量,有效集成到CI/CD流程中。

weixin_42665255的博客 198

安装mmdet3d时,遇到pytorch版本高导致的THC.h不存在的报错

针对mmdet3d,则修改mmdetection3d/mmdet3d/ops路径下的.cpp文件(可以通过报错定位查找)

qq_43190806的博客 1454

中科蓝讯(第一次使用指南)

中科蓝讯 新手指南

qq_48579018的博客 1万+

【SoloPi】SoloPi使用2-功能使用,录制回放

Soloπ是什么 Soloπ是一个无线化、非侵入式的Android自动化工具,公测版拥有录制回放、性能测试、一机多控三项主要功能,能为测试开发人员节省宝贵时间。 录制回放功能 Soloπ拥有录制操作的能力,用户只需要通过Soloπ执行用例步骤,Soloπ就能够将用户的操作记录下来,并且支持在各个设备上进行回放,这一切都能够在手机上独立完成。 ...

q_Catherine的博客 5829

从THC.h到ATen:详解PyTorch版本升级对mmdet3d的影响及迁移指南

本文详细解析了PyTorch从THC.h到ATen的架构演进对mmdet3d的影响,提供了系统化的迁移指南。针对常见的THC报错问题,文章给出了应急解决方案和可持续迁移策略,帮助开发者高效完成代码适配,确保项目在PyTorch新版本中的稳定运行。

wasm7browser的博客 191

报错-mmdet/cuda编译报错: fatal error: THC/THC.h: No such file or directory

1.11版本后,Pytorch中的THC/THC 命名空间已失效,apex 也已将其删除,但是其中的函数已移至 ATen 命名空间。THCudaCheck函数->AT_CUDA_CHECK。

zwhdldz的博客 1622

ransac拟合2D圆(三点定圆 c++详细版)

RANSAC(Random Sample Consensus,随机采样一致性)算法是一种基于随机采样的迭代算法,主要用于从一组包含大量噪声和异常值(外点)的数据中估计数学模型的参数。

twnkie的博客 1049

YOLO26中 RepVGGBlock_OREPA 架构的设计与性能提升分析(mAP +4.89)

REPVGGOREPA模块代表了重参数化技术的最新发展,它通过巧妙的架构设计实现了训练时的丰富表达和推理时的高效计算。其核心创新包括多分支特征聚合、动态权重生成、频域先验知识融合等技术,为深度学习模型的效率优化提供了新的解决方案。这种设计理念不仅在技术上具有重要意义,在实际应用中也展现出了显著的优势,特别是在需要高精度和高效率的工业场景中表现突出。随着重参数化技术的不断发展,REPVGGOREPA为未来的网络架构设计提供了重要的参考和启发。

know_F0727的博客 67

使用cloud studio 安装 mmdetction3D

可以切换numpy版本,但是之后会报各种依赖错误,需要重新pip install pillow pyquaternion shapely decorator scipy sklearn scikit-learn tqdm等各个包,建议重新激活环境安装。1.11版本后,Pytorch中的THC/THC 命名空间已失效,apex 也已将其删除,但是其中的函数已移至 ATen 命名空间。mmdet3d各种版本环环相扣,新的版本基本没有成功过,采用老版本可以成功。这种安装的版本比较老,官方推荐的。

qq_34427472的博客 737

YOLOv11架构革新:华为VanillaNet与BiFPN深度融合的突破性改进实战指南

购买即可解锁300+YOLO优化文章,并且还有海量深度学习复现项目,价格仅需两杯奶茶的钱,别人有的本专栏也有!

LXY_LOVE36的博客 138

BEVFormer复现过程

期间有DataLoader out of memory,修改一下docker容器的shm_size就好了)查找原因:由于yapf版本不兼容导致的,FormatCode函数中的verify参数在新版本中可能已经被移除或改变了。训练过程:似乎要训练81个epoch,每次要处理323个数据。体素用恒定的标量或者向量表示一个立体的区域。解决方案:降低yapf版本。

weixin_53663457的博客 969

AI测试干货:让大语言模型稳定输出 JSON 的四种实现方案

用大语言模型做测试用例生成、数据提取时,最头疼的就是让它老老实实返回 JSON。你以为它会给你 `{"name":"张三"}`,结果它来一句"好的,这是生成结果:```json...",或者干脆在 JSON 里加注释,直接把你的 `json.loads()` 干崩溃。 模型本质上是个话痨,天生爱解释。但我们要的是结构化数据,不是聊天记录。我整理了四种实战方案,从最简单的提示词技巧到工程化框架,覆盖了从快速验证到生产环境的各种场景。

blues_C的博客 959

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Scikit-Learn 1.8引入Array,支持 PyTorch 与 CuPy 张量的原生 GPU 加速

Scikit-Learn 1.8.0 更新引入了实验性的 Array API 支持。这意味着 CuPy 数组或 PyTorch 张量现在可以直接在 Scikit-

2601_96798737的博客 213

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

姿态估计(Pose Estimation)深度解析:从人体关键点检测到主流算法与 PyTorch 实战

姿态估计(Pose Estimation)是计算机视觉领域的一项重要技术,主要任务是从图像或视频中识别人体、动物或物体的关键点,并根据关键点之间的空间关系推断目标的姿态结构。简单来说,姿态估计就是让计算机理解一个人的身体姿势。例如,当我们输入一张包含人体的图片时,姿态估计算法可以自动识别:头部、鼻子、眼睛等面部关键点。左右肩膀、肘部和手腕。左右髋部、膝盖和脚踝。身体各个关节之间的连接关系。最终,模型会将这些关键点连接起来,形成一张人体骨架图。

2503_90237586的博客 355

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

【深度学习项目实战·33】自定义数据集:把自己的图片接入PyTorch

本文聚焦自定义数据集的构建与验证,解决“图片如何对应标签”的核心问题。通过构建包含路径、标签、ID与分组信息的标注表,实现样本可追溯;设计ManifestDataset类,统一图像读取、变换与张量输出格式;强调数据检查、固定类别映射与数据契约的重要性,确保训练前数据闭环可靠。后续将进入数据增强与划分环节。

银尘博客 216

Google 与 Meta 联合推出 TorchTPU,PyTorch 原生支持 TPU 硬件

Google 和 Meta 合作开源 TorchTPU 项目,让 PyTorch 工作负载可以原生运行在 TPU 上。

wfly blog 81

【AI 开发从入门到进阶 · 04】PyTorch 第一课:Tensor、自动求导与那套万能的「五步训练循环」

本文系统介绍PyTorch入门核心内容:为何选择PyTorch(动态图、生态优势)、Tensor的自动求导机制、构建神经网络的四大组件(nn.Module、Loss、Optimizer、DataLoader),并通过MNIST手写数字识别实战演示“五步训练循环”——前向传播、计算损失、反向传播、清零梯度、参数更新。强调zero_grad()、no_grad()、CrossEntropyLoss不加Softmax等关键细节,附可视化分析与排错清单。下篇将深入CNN卷积网络,提升图像分类性能。

信息安全领域优质创作者|操作系统领域专家 169

PyTorch强化学习实战(35)——多智能体强化学习

在本节中,我们将介绍多智能体强化学习 (MARL),这是强化学习 (Reinforcement Learning, RL) 和深度强化学习的一个相对较新的方向,涉及多个智能体在环境中进行交互的情况。在现实生活中,这类问题出现在宽带通信网络、物联网等场景中。在本节中,我们将简要介绍 MARL,并在简单环境中进行一些实验。在实验中,我们将采用一种简单的方法,让智能体共享我们正在优化的策略,但观察将从每个智能体的视角出发,并包含其他智能体位置的信息。

盼小辉丶的博客 237

深入理解 PyTorch FlexAttention:从 Score Mod 到 Mask Mod 的稀疏加速之道

score_mod:对分数做数值变换# 这里演示一个简单的"按 query 位置缩放"的变换# score: 当前 (b, h, q_idx, kv_idx) 位置的分数标量# 返回变换后的分数return score * 1.0 # 恒等变换,实际可替换为任意数值操作# mask_mod:返回布尔值,True 表示该位置参与计算score_mod和mask_mod的签名都是,区别在于score_mod额外接收当前分数score并返回新分数,而mask_mod只返回布尔值。

Maxwell_Newton的博客 511

基于深度学习的塑料类型图像分类研究(Python+PyTorch+Django完整实现)

本课题围绕塑料回收分拣场景,完成基于深度学习的塑料类型图像分类研究。项目使用公开塑料识别数据集,覆盖六类常见塑料,先以ResNet18预训练特征做错标检测,自动隔离可疑样本并复测清洗效果,再按类别分层划分数据集;模型选用ResNet50进行迁移学习,训练中引入标签平滑与EMA应对标签噪声,以宏平均F1,各类别召回和混淆矩阵作为主要评估指标;训练完成的模型导出为ONNX格式,由Django后端加载推理,Vue前端实现图片上传与结果展示,形成从数据,训练到应用的完整闭环,可作为深度学习方向毕业设计的实现参考。

WEIXIN_JSJBSZDS的博客 174

PyTorch中Tensor是什么? 与NumPy数组有什么区别?

简单来说,Tensor 是 PyTorch 中最核心的数据结构,是一个支持 GPU 加速和自动微分的多维数组。在 PyTorch 中,Tensor 可以理解为任意维度的数组容器 —— 0 维是标量,1 维是向量,2 维是矩阵,3 维及以上就是高维张量。这是训练神经网络的关键。特别地,CPU 上的 Tensor 与 NumPy 数组共享内存,一个变化会影响另一个,非常高效。掌握 Tensor 是 PyTorch 入门的第一步,理解它和 NumPy 的关系与区别,能帮你更快地上手深度学习。

teach2004的博客 180

Pytorch【8】模型保存与加载(断点续训、GPU/CPU兼容踩坑)

前面我们已经掌握:张量、自动求导、网络搭建、损失优化、Dataset+DataLoader数据流水线。模型训练好之后,我们需要把成果存下来;训练中途中断,也需要从上次位置继续训练。只保存权重✅【工业界推荐,体积小、灵活】直接保存整个模型❌【简单但不推荐,兼容性差】state_dict是一个字典,key是参数名,value是权重张量,只存参数,不存代码结构。

Beforthing的博客 218
上一篇: 手机镜头设计实战:如何用OpticStudio搞定5片塑料非球面透镜优化(附避坑指南)
下一篇: VS中ComboBox增删条目的3种实用方法(附排序问题解决)
php55
博客等级 码龄15年 51粉丝 1553原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值