关于复现Tardal的一些相关问题

原创 已于 2023-11-15 10:24:33 修改 · 3k 阅读 · 42 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #ubuntu

于 2023-11-14 11:45:18 首次发布
本文详细记录了在复现Tardal项目过程中遇到的环境配置、数据准备问题，包括meta文件缺失、预训练模型路径调整和库链接错误。作者提供了修复这些问题的步骤，如自动生成meta文件和修改CUDA库路径。
部署运行你感兴趣的模型镜像

Tardal原文github链接：https://github.com/dlut-dimt/TarDAL

1、前言

在复现Tardal的时候，有些命令和数据是需要修改的，官网的步骤有些地方的地址指向和数据加载存在一些问题，以此来记录相关的问题。

2、官方步骤

2.1 环境配置及数据准备

根据官方步骤安装conda环境和配置文件都没有很大的问题

# create virtual environment
conda create -n tardal python=3.10
conda activate tardal
# select pytorch version yourself
# install tardal requirements
pip install -r requirements.txt
# install yolov5 requirements
pip install -r module/detect/requirements.txt

官方的data框架包含m3fd、tno、roadscene三个数据集

TarDAL ROOT
├── data
|   ├── m3fd
|   |   ├── ir # infrared images
|   |   ├── vi # visible images
|   |   ├── labels # labels in txt format (yolo format)
|   |   └── meta # meta data, includes: pred.txt, train.txt, val.txt
|   ├── tno
|   |   ├── ir # infrared images
|   |   ├── vi # visible images
|   |   └── meta # meta data, includes: pred.txt, train.txt, val.txt
|   ├── roadscene
|   └── ...

但是其网盘数据中：

M3FD解压后并未包含meta

而tno、roadscene数据集中则正常包含ir、vi、meta，于是尝试查看tno和roadscene中的meta内容。

2.2 问题查找

经查看发现，tno和roadscene中的meta是按照官方框架里包含pred.txt, train.txt, val.txt

1、于是我们查看tno中的txt文件

（1）pred.txt中包含tno所有的样本数

（2）train.txt中的随机对数据进行了选择，未将所有数据进行训练

（3）val.txt中则只包含028.png

但是仅看tno可能还无法自己尝试复原m3fd的meta数据，所以我们同样再查看一次roadscene中的meta组成

2、查看roadscene中的txt文件发现，pred.txt, train.txt, val.txt中均包含了所有数据

所以为了尝试的去复原数据，我们采用pred.txt同样包含m3fd中所有的数据，而train.txt和val.txt尝试将数据进行随机提取分为1:1的数据。

import random

# 定义文件名范围
start_number = 0
end_number = 4199

# 生成文件名列表
all_filenames = [f"{i:05d}.png" for i in range(start_number, end_number + 1)]

# 随机选择2100个文件名并按大小顺序排列，用sorted函数来按大小顺序排序
selected_filenames = sorted(random.sample(all_filenames, 2100))

# 将文件名分为两组
first_batch = selected_filenames
second_batch = sorted(list(set(all_filenames) - set(selected_filenames)))


# 写入第一个记事本
with open('train.txt', 'w') as file_1:
    for filename in first_batch:
        file_1.write(filename + '\n')

# 写入第二个记事本
with open('val.txt', 'w') as file_2:
    for filename in second_batch:
        file_2.write(filename + '\n')

由此我们就尝试得到了相对能够用于匹配的meta文件

2.3 尝试复现中的问题处理

问题一：

在github官网步骤上，作者给予了三个预训练的模型

并且在运行infer.py是这么写的

# TarDAL-DT
# use official tardal-dt infer config and save images to runs/tardal-dt
python infer.py --cfg configs/official/tardal-dt.yaml --save_dir runs/tardal-dt
# TarDAL-TT
# use official tardal-tt infer config and save images to runs/tardal-tt
python infer.py --cfg configs/official/tardal-tt.yaml --save_dir runs/tardal-tt
# TarDAL-CT
# use official tardal-ct infer config and save images to runs/tardal-ct
python infer.py --cfg configs/official/tardal-ct.yaml --save_dir runs/tardal-ct

但是下载后的TarDAL-main文件中，关于对应的tardal-ct.yaml、tardal-dt.yaml、tardal-tt.yaml其实存放于official中的infer和train里面，虽然查看这两个文件夹里的对应的yaml文件内容，其实都是一致的，但如果根据官方的指令直接运行就会存在运行不了的情况。

所以在运行指令时需要修改为，添加对应的文件夹，且configs要替换为config跟路径一致

# TarDAL-DT
# use official tardal-dt infer config and save images to runs/tardal-dt
python infer.py --cfg ./config/official/infer/tardal-dt.yaml --save_dir runs/tardal-dt
# TarDAL-TT
# use official tardal-tt infer config and save images to runs/tardal-tt
python infer.py --cfg ./config/official/infer/tardal-tt.yaml --save_dir runs/tardal-tt
# TarDAL-CT
# use official tardal-ct infer config and save images to runs/tardal-ct
python infer.py --cfg ./config/official/infer/tardal-ct.yaml --save_dir runs/tardal-ct

问题二：

如果在运行infer.py时出现了

python: symbol lookup error: /home/<username>/anaconda3/envs/tardal/lib/python3.xx/site-packages/torch/lib/../../nvidia/cudnn/lib/libcudnn_cnn_infer.so.xx: undefined symbol: _ZN15TracebackLoggerC1EPKc, version libcudnn_ops_infer.so.xx

或home/<username>/anaconda3/envs/<env_name>/lib/python3.xx/site-packages/nvidia/cublas/lib/libcublas.so.xx: undefined symbol: cublasLtGetStatusString (<或者其他>), version libcublasLt.so.xx

(tardal) xzh@XZH:~/TarDAL-main$ python infer.py --cfg ./config/official/train/tardal-ct.yaml --save_dir runs/tardal-ct
2023-11-13 15:30:33,947 | infer.py[line:32] | INFO | enter fuse & detect inference mode
2023-11-13 15:30:33,947 | infer_fd.py[line:22] | INFO | TarDAL-v1 Inference Script
2023-11-13 15:30:33,947 | infer_fd.py[line:45] | INFO | create save folder runs/tardal-ct
2023-11-13 15:30:33,947 | m3fd.py[line:43] | WARNING | not found scenario.json, using current train & val list.
2023-11-13 15:30:33,948 | m3fd.py[line:47] | INFO | load 4200 images from m3fd
2023-11-13 15:30:33,990 | checker.py[line:21] | INFO | find all images on list
2023-11-13 15:30:34,756 | checker.py[line:50] | INFO | find all labels on list
2023-11-13 15:30:34,756 | checker.py[line:73] | INFO | find suitable size for prediction
finding suitable size: 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4200/4200 [00:55<00:00, 75.39it/s]
2023-11-13 15:31:30,468 | checker.py[line:80] | INFO | max size in dataset: H:768 x W:1024
2023-11-13 15:31:30,613 | fuse.py[line:33] | INFO | deploy tardal-fuse on device cuda
2023-11-13 15:31:30,616 | fuse.py[line:40] | INFO | init generator with (dim: 32 depth: 3)
2023-11-13 15:31:30,616 | fuse.py[line:58] | INFO | download pretrained parameters from https://github.com/JinyuanLiu-CV/TarDAL/releases/download/v1.0.0/tardal-dt.pth
2023-11-13 15:31:30,839 | detect.py[line:34] | INFO | deploy yolov5s on device cuda
2023-11-13 15:31:30,845 | yolo.py[line:108] | INFO | overriding model.yaml nc=80 with nc=6
2023-11-13 15:31:31,032 | torch_utils.py[line:260] | INFO | YOLOv5s summary: 270 layers, 7035811 parameters, 7035811 gradients, 16.0 GFLOPs
2023-11-13 15:31:31,060 | detect.py[line:41] | INFO | init yolov5s with (nc: 6)
infer 00000.png (8 images):   0%|                       | 0/525 [00:02<?, ?it/s]python: symbol lookup error: /home/xzh/anaconda3/envs/tardal/lib/python3.10/site-packages/torch/lib/../../nvidia/cudnn/lib/libcudnn_cnn_infer.so.8: undefined symbol: _ZN15TracebackLoggerC1EPKc, version libcudnn_ops_infer.so.8

解决方法：

1、找到错误里对应的路径，通过命令 $ ldd /home/<username>/anaconda3/envs/<env_name>/lib/python3.xx/site-packages/nvidia/cublas/lib/libcudnn_ops_infer.so.xx 查看当前 libcublasLt.so.xx（或libcudnn_ops_infer.so.xx） 的所在位置，然后发现它link到了诸如 /usr/local/cuda/lib64/libcublasLt.so.xx 这样的位置。

注意，Idd后面的路径为你报错里对应的symbol look up error：冒号后对应的路径，直接粘贴就行。

如图，我的就被link到了/usr/local/cuda-11.3/lib64/libcudnn_ops_infer.so.8

2、通过命令 $ export LD_LIBRARY_PATH=/home/<username>/anaconda3/envs/<env_name>/lib/python3.7（或<your_python_version>）/site-packages/nvidia/cublas/lib/:$LD_LIBRARY_PATH 将当前 conda env 的 lib path 加过去。（记得替换 <username> 和 <env_name>，并确认 <python_version>）
3、以上做法只是临时设置 LD_LIBRARY_PATH ，下次开机时需要重新设置。为了把这个值持续写到 LD_LIBRARY_PATH 里，我们可以$ vim ~/.bashrc，在该文件的未尾加入步骤2中的命令。

修改完后，记得$ source ~/.bashrc 从而使上面的配置生效。
4、然后我们在用步骤1的Idd命令再看一次，发现路径已经被正确指向，再运行infer.py就能够正常跑了

3 结果展示

以tardal-dt为例

运行infer.py后的程序结果如图

其中的图像输出结果显示，以00000.png为例

（1）我们在 m3fd 中的 ir 找到00000.png

（2）同样的在 m3fd 中的 vi 找到00000.png

（3）根据运行infer.py后会生成一个runs文件夹，我们里面找到tardal-dt文件夹，可以找到输出的结果00000.png

可以看出通过对红外和图像的融合，对人的分割突显还是较为明显的。

参考博客：

Fix Bug: “undefined symbol: ..., version libcublasLt.so.11“ （简单有效！强推~）

您可能感兴趣的与本文相关的镜像

PyTorch 2.5

PyTorch 2.5

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

RickySam
关注
根据问题现象、用户操作场景及日志打印去排查C++软件问题，必要时尝试去复现问题
dvlinker的技术专栏
11-03 2万+
根据问题现象、用户操作场景及日志打印去排查C++软件问题，必要时尝试去复现问题。
一些经典CV论文的复现
11-21
一些经典CV论文的复现
推荐开源项目：TarDAL - 目标感知双对抗学习融合红外与可见光图像检测
gitblog_00059的博客
06-06 916
推荐开源项目：TarDAL - 目标感知双对抗学习融合红外与可见光图像检测 项目地址:https://gitcode.com/gh_mirrors/ta/TarDAL 项目介绍 TarDAL（Target-aware Dual Adversarial Learning）是一个创新的深度学习框架，用于融合红外和可见光图像以进行目标检测。该项目由大连理工大学的研究团队开发，并在2022年的计算机视觉和...
YOLOv11最新创新改进系列：多模态融合RGB+红外线（IR），可直接使用的数据集推荐。
B站 Ai学术叫叫兽的文案地
09-04 1112
YOLOv11最新改进系列推出多模态融合技术，支持RGB+红外线(IR)双模态输入，并推荐两大可直接使用的数据集：M3FD（包含严格配对的可见光与红外图像及目标检测标注）和LLVIP（专注弱光环境下的可见光-红外配对数据，含密集行人标注）。博主提供40+单模态和20+多模态改进方案，组合方式可达上百万种。相关源码和教程可通过B站"AI学术叫叫兽"获取，支持一对一答疑服务。两个数据集均适用于目标检测、图像融合等任务，标注格式支持转换为YOLO训练所需格式。
TarDAL
一叶轻舟博客
06-30 4339
论文翻译，内容整理
TarDAL（Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse）
m0_47005029的博客
06-13 5843
在本文中，提出了一个双层优化配方，共同实现融合和检测。通过将模型展开到设计良好的融合网络和常用的检测网络，我们可以生成视觉友好的融合和目标检测结果。为了促进这一领域的研究，我们提出了一个同步成像系统与可见光-红外传感器和收集多场景多模态基准。
TarDAL——红外图像和光学图像融合算法讨论
m0_47375330的博客
05-20 948
TarDAL
TarDAL 开源项目使用教程
gitblog_00483的博客
08-08 811
**TarDAL** 是一个由 Jinyuan Liu 开发的开源项目，专注于提供图像处理的高效解决方案。它包含了多个预训练模型，如 **TarDAL-DT**、**TarDAL-TT** 和 **TarDAL-CT**，分别优化了人眼视觉体验、对象检测以及结合了人眼视觉和检测精度的最优解。该项目旨在通过简化配置文件和命令行工具，让开发者和研究人员能够轻松地融合图像，适用于计算机视觉领域的多种场景...
图像融合M3FD数据集
09-08
图像融合 M3FD 数据集 论文：Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection 下载链接：https://github.com/JinyuanLiu-CV/TarDAL 数据集：该数据集仅包含整个数据集中的M3FD_Fusion文件 为方便网络不好的同学，现将此数据集进行上传。
精选资源
paper_reproduce:一些论文的复现代码
03-25
在计算机科学，尤其是机器学习和人工智能领域，复现论文的结果可以验证模型的有效性，找出潜在的问题，并可能提出改进的方法。这有助于确保研究成果的准确性和可信度，也有助于新研究的进一步发展。 这个项目采用的...
关于复现RfD-Net过程中所遇到的问题（Ubuntu）
06-13
关于复现RfD-Net过程中所遇到的问题（Ubuntu）
精选资源
SAMUS代码尝试复现出现的问题
02-18
在某些情况下，复现问题可能是非常困难的，因为问题可能与特定的运行环境、数据集或执行时序有关。SAMUS代码指的是某个特定的软件程序或脚本，而这个问题描述则指出了在试图复现某个问题时遇到的困难。 在数据集的...
【YOLO算法训练数据标签】XML格式标签文件转换为txt格式
lingchen1906的博客
12-18 1277
训练YOLO模型时，其目标检测标签文件为txt格式，并且其内容格式为：一行一个目标，每行包括类别ID、目标在图像中的归一化Bounding Box（以图片宽度和高度为单位），用空格分隔。而有时遇到的目标检测标签为xml格式，所以这是就要我们将其进行格式转换，以适合于YOLO模型的训练。
【论文阅读】TarDAL:Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark
Prettybritany的博客
06-10 1678
通过计算像素的显著性值来计算权重 ω1 和 ω2，公式 (5) 中的 Lpixel 表示像素损失，其中包括了融合图像与源图像的像素间的绝对差值。最后，该策略不仅可以生成视觉上吸引人的图像，而且可以在给定训练的网络参数的情况下输出准确的检测，使我们能够找到面向检测的融合的最佳解决方案，并且比独立训练方案更有效地收敛。ω1 和 ω2 是用于计算每个源图像对融合图像贡献的权重，通过调整这两个权重，可以更好地平衡生成的融合图像与源图像之间的像素强度分布。3.数据收集有限，难以学习到两种模态的互补信息并验证有效性。
数据集dataset
qq_45913945的博客
03-21 994
TNO、MSRS、M3FD 和 LLVIP 均为包含红外与可见光图像对的数据集，适用于不同场景下的多模态融合与目标检测研究。考虑 退化场景(例如，强光、低照度、低源图像质量、非刚性失真)聚焦校园环境中的行人、车辆等目标。覆盖多类目标（如行人、车辆、动物）覆盖典型场景（如道路、建筑等）。
MOT学习笔记 — 行人检测及行人跟踪数据集总结
Mr.X
03-09 3841
行人检测及行人跟踪数据集总结
LLVIP、KAIST、M3FD数据集
weixin_51362119的博客
04-28 830
（可见光+红外，双模态数据集，已配准已对齐已清洗，已处理为txt格式，YOLO可直接训练）先提供matlab代码运行效果图给博主评估其价值，可以的话，就可以进行兑换。利用同等价值的matlab代码兑换博主的matlab代码。算法设计、毕业设计、期刊专利！LLVIP、KAIST、M3FD数据集。电子产品，一经出售，概不退换。
AcademicCraft 复现问题
最新发布
11-27
<think> 首先，用户的问题是：“我想查找AcademicCraft复现问题的解决方案 请问AcademicCraft复现问题的解决办法”。用户提到了“AcademicCraft”，这可能是一个特定的项目或模型，但我需要回顾上下文。 我之前的响应是关于复现问题的一般性讨论，但用户这次指定了“AcademicCraft”。查看提供的引用，引用[1]到[5]是关于复现问题的一般建议，比如固定随机种子、处理PyTorch问题等。引用中没有直接提到“AcademicCraft”，所以这可能是一个新查询。 用户说：“上述引用仅供参考，并不是用户真正的需求，请尽可能多的参考用户上一次的问题和你的回答。” 但在这个对话中，这是用户的第一条消息，所以我需要基于当前消息处理。用户提到了引用，但这些引用是作为背景提供的。 关键点： - 用户想查找“AcademicCraft”复现问题的解决方案。 - AcademicCraft听起来像是一个特定的AI模型或项目，但我不确定它是什么。在真实世界中，它可能是一个虚构的或特定领域的术语。 在系统级指令中，我需要： - 使用中文回答。 - 生成相关问题。 - 在回答中引用的段落末尾自然地添加引用标识。 - 对于数学表达式，使用$...$或$$...$$格式。 - 确保LaTeX语法正确。 - 回答结构清晰，帮助用户逐步解决问题。 由于用户提到了“AcademicCraft”，我应该假设这是一个常见的或知名的模型或库。在AI领域，可能指的是某个学术项目，但我不熟悉它。或许用户指的是“Academic”或“Craft”相关，但更可能是一个拼写错误或特定名称。 用户消息中：“AcademicCraft” – 这可能是一个打字错误或特定名称。或许是“Academic Craft”或类似。在上下文中，它可能与论文复现或代码复现相关。 从引用的内容看： - 引用[3]是关于PyTorch中固定随机种子以确保复现性。 - 引用[4]是关于复现论文代码时的问题。 - 引用[5]是关于复现fast-livo2中的问题。 所以，用户可能指的是复现某个学术项目的代码，称为“AcademicCraft”。 我的回答应该： 1. **结构清晰**：逐步帮助用户解决问题。 2. **参考引用**：在适当的地方添加引用标识。 3. **生成相关问题**：在结束时添加相关问题部分。 可能的解决方案： - 由于“AcademicCraft”不是标准术语，我应该询问更多细节或提供一般建议。 - 基于引用，我可以建议固定随机种子、检查依赖等。 - 用户提到“复现问题”，所以是针对复现实验结果。 步骤来解决： - **步骤1：确认问题** – 询问用户更多细节，如错误消息或上下文。 - **步骤2：提供一般建议** – 基于引用，如固定随机种子（引用[3]）。 - **步骤3：特定建议** – 如果可能，但缺少信息。 - **步骤4：生成相关问题** – 如询问具体错误或环境设置。 最终，回答应以中文呈现。 生成相关问题： - 例如：1. AcademicCraft的具体版本是什么？2. 你遇到了什么错误消息？3. 你的环境设置如何？ 确保回答真实可靠：我不能发明信息，所以建议一般性解决方案。 大纲回答： - 开头：回应查询。 - 主体：提供解决方法。 - 结尾：添加相关问题。 </think> ### AcademicCraft复现问题的解决方案 您提到“AcademicCraft”的复现问题，这通常涉及代码或模型的实验结果无法一致重现（即在不同环境下运行相同代码得到不同输出）。基于常见学术项目复现经验（如PyTorch或TensorFlow框架），以下是结构化解决方案。我会逐步引导您排查问题，参考了站内关于复现性的通用建议[^1][^3]。如果“AcademicCraft”是特定项目（如一个学术论文的代码库），请提供更多细节（如GitHub链接或错误日志），以便更精准地帮助您。 #### 步骤1: **固定随机种子以确保确定性** 复现失败最常见原因是随机性（如数据加载、模型初始化或Dropout）。引用[^3]建议在代码开头设置固定随机种子，适用于PyTorch项目。添加以下代码到您的训练脚本（如 `train.py`）： ```python import random import os import numpy as np import torch def seed_torch(seed: int = 42) -> None: random.seed(seed) os.environ['PYTHONHASHSEED'] = str(seed) # 禁止hash随机化，使实验可复现 os.environ["CUDA_LAUNCH_BLOCKING"] = "1" os.environ["CUBLAS_WORKSPACE_CONFIG"] = ":16:8" np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) # 如果使用多GPU torch.backends.cudnn.benchmark = False torch.backends.cudnn.deterministic = True print(f"Random seed set as {seed}") seed_torch() # 调用函数，默认种子为42 ``` - **为什么有效？** 这确保了NumPy、Python和PyTorch（CPU/GPU）的随机行为一致[^3]。 - **注意**：设置 `torch.backends.cudnn.deterministic = True` 可能减慢训练速度，但能保证输入相同输出相同。 #### 步骤2: **检查依赖项和环境设置** 环境不一致（如库版本、操作系统）是复现失败的常见原因。参考引用[^4][^5]，执行以下操作： - **更新依赖**：使用 `pip freeze > requirements.txt` 导出当前环境，并与AcademicCraft的官方文档（如GitHub的 `requirements.txt`）比较。常见问题包括： - PyTorch或CUDA版本不匹配（例如，引用[^4]提到模型权重加载问题）。 - 缺失库（如引用[^5]中的图像传输插件错误）。 - **创建隔离环境**：使用虚拟环境（如 `conda` 或 `venv`）避免冲突： ```bash conda create -n academic_env python=3.8 conda activate academic_env pip install -r requirements.txt # 假设有requirements文件 ``` - **验证硬件**：如果使用GPU，运行 `nvidia-smi` 确认驱动和CUDA版本兼容。 #### 步骤3: **诊断特定错误** 如果问题仍未解决，分享错误日志（如控制台输出）。基于引用[^1]，测试人员应尝试复现问题并记录操作序列。常见故障点： - **数据预处理不一致**：检查数据加载路径是否绝对路径，或数据增强是否引入随机性。 - **模型权重加载问题**：如引用[^4]所示，使用 `torch.hub.load_state_dict_from_url` 确保权重下载正确。 - **Dropout或BatchNorm影响**：在验证阶段禁用Dropout（设置 `model.eval()`），因为引用[^2]提到Dropout可能导致训练集和验证集精度差异。 #### 步骤4: **参考社区资源** 如果AcademicCraft是公开项目： - **查阅文档和Issues**：访问其GitHub仓库（如 https://github.com/ ），搜索“reproduce”或“复现”相关Issues。 - **使用Docker容器**：如果提供Dockerfile，运行容器以确保环境一致性： ```bash docker pull <academiccraft_image> docker run -it --gpus all <academiccraft_image> ``` #### 总结 以上方法能解决80%以上的复现问题[^3][^5]。如果仍失败，请提供： - AcademicCraft的具体版本或来源链接。 - 完整的错误日志。 - 您的环境详情（如 `pip list` 输出）。 复现性是科研关键，耐心排查通常能解决[^1]。
评论 57
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值