NLOS的博客

【代码】深度学习模型发展史：从神经元到智能革命。

用pip安装报错，使用conda安装不会报错。

This paperMotivationCo-located sensing redundancy in modern autonomous vehicles✅ provides various forms of supervision cues for radar scene flow estimation.MethodsExperimentsSOTA performanceproves effective in inferring more accurate 4D radar scene flow us

电磁计算作为科学计算的一个重要分支，其发展历史可追溯到19世纪的麦克斯韦方程。自那时以来，电磁计算经历了百年的发展，衍生出了各种数值算法，如有限差分法、有限元法、矩量法等，这些算法都是现代电子与信息领域的重要基石。然而，随着问题规模的不断扩大，传统的电磁计算方法面临着巨大的挑战。首先，计算的复杂度随着问题规模的增大而呈指数级增长，使得大规模问题的计算变得极其困难。其次，对于复杂的电磁问题，如电磁散射、辐射和传播等，解析解往往不存在，这就需要我们寻找一种新的计算方法。在这个背景下，智能电磁计算应运而生。

神经网络作为一个高参数模型,其参数量巨大,内部表示复杂难懂。我们可以输入不同的数据,神经网络会输出不同的结果,但其内部究竟发生了什么变化?不同层之间的表示是如何编码信息的?这些问题长期困扰着研究者。早期的神经网络多采用显式编码,如卷积网络中的滤波器可视为对图像边缘、纹理等视觉概念的显式建模。但随着大模型时代的来临,模型表达能力大幅提升的同时,其内部表示变得越来越隐式与不可解释。解读神经网络内部表示,揭开其“黑盒”之谜,成为一个重要的研究方向。隐式神经表示正试图通过不同的方式探索这个难题。

在跨模态学习领域，最初的研究主要关注文字和图像之间的映射，例如通过文字描述来生成图像，或者通过图像来生成文字描述。然而，随着技术的进步，跨模态学习已经被应用到了许多其他领域，例如音频和视频之间的映射，3D模型和2D图片之间的映射等。例如，如何有效地处理模态间的数据不匹配问题，如何处理模态间的数据不完整问题，如何设计更有效的特征映射和信息融合算法等。虽然跨模态学习和多模态学习的研究仍然面临许多挑战，但随着深度学习和大数据技术的发展，我们有理由相信这两个领域的研究将取得更大的进展。是我们希望学习的目标信息。

自回归生成模型的研究仍在继续，人们希望通过改进自回归模型，解决上述挑战，使其在更多的场景下发挥作用。例如，通过引入更复杂的模型，使自回归模型能够处理更复杂的序列；自回归生成模型是一种强大的序列生成工具，它能够从已有的序列中学习，然后生成新的序列。在学习阶段，我们首先定义一个模型，例如一个神经网络，然后使用一种优化算法（例如梯度下降）来调整模型的参数，使得模型的预测与实际的序列值尽可能接近。在此模型中，我们使用了一个LSTM网络作为自回归模型的基础，然后通过一个全连接层将LSTM的输出转换为预测的序列值。

在此模型中，我们首先通过编码器将输入（例如，大小为28×28的图片）压缩为3维的编码，然后通过解码器将这个编码解压为原始的28×28的图片。自编码器的研究仍在继续，人们希望通过改进自编码器，解决上述挑战，使其在更多的场景下发挥作用。自编码器是一种强大的无监督学习工具，它试图从数据中学习有用的表示。目前，自编码器的一种重要扩展是变分自编码器（VAE），通过引入随机性，VAE能够生成新的数据，使其在生成模型中有着重要的应用。自编码器的目标是最小化重构误差，即原始数据和由自编码器重构的数据之间的差异。

在诸多生物特征识别技术中，步态识别作为一种基于人体运动的识别技术，正逐渐受到广泛关注。步态识别是指通过分析个体的行走方式来确定其身份。由于步态特性受到个体的身体构造、习惯和健康状况等多方面因素的影响，具有良好的个体差异性，因此可以用于个体识别。步态识别主要分为模型化方法和模型自由方法两种。模型化方法主要是基于人体结构模型进行步态识别，而模型自由方法则通过人体运动特征来进行识别。

0.25 page目标针对雷达range-doppler images (RDI) 的OOD检测贡献提出了一种基于reconstruction的多类OOD检测器,用于毫米波雷达图像分类🚩目标是将除坐着、站立或行走的人之外的任何运动目标识别为OOD提出了呼吸检测器(RESPD)来检测人体轻微运动,如呼吸🚩以简化OOD检测难度实验在60GHz短程FMCW雷达采集的数据集上对坐着、站立、行走三个类别进行OOD检测,获得了97.45%、92.13%、96.58%的AUROC。

背景提出一种从摄像机图像和稀疏雷达点云推断密集深度图的方法Challenge：毫米波雷达点云形成的挑战,如模糊性和噪声⇒⇒无法正确映射到camera images上设计一个网络将每个雷达点映射到图像平面上可能投影的表面与现有工作不同,我们不直接处理原始雷达点云,而是查询每个原始点与图像中可能的像素进行关联——产生半密集的雷达深度图提出带门控融合方案,考虑对应分数的置信度,选择性地结合雷达和相机嵌入来产生密集深度图。

Triplet (三胞胎) loss: because it demands an input triplet containing one anchor, one positive and one negative。then, 对于两个不同的输入x1和x2，their distance can be d(x1,x2) = L(f(x1),f(x2))总之，对比学习理论起到了很大作用，但仍有很长的路要走。Lexical (词汇的) Edits。Precursors 先驱者。

更多信息：https://zhuanlan.zhihu.com/p/443166496。

多维度SAR成像存在的问题：缺乏实测数据的情况下，如何设计高效的训练策略？SAR作为复值问题，如何高效处理复数传播？如何提升网络泛化性能，以适配成像几何模型和系统参数的变化？即 模型设计、算法优化 两个方面。

本文为毫米波雷达点云的公开讲座笔记(英文版)，讲座信息如下：内容在优快云、知乎和微信公众号同步更新MM wave radar is a key sensor (in the multi-sensor fusion system) of assisted and driverless vehicles, which can be divided into, includingVision Sensors in Autonomous Driving (As shown below) Among them, b

文章目录步骤1：网络测试结果保存步骤2：矩阵绘制混淆矩阵绘制结果步骤1：网络测试结果保存以pytorch为例，在测试阶段保存结果的参考代码为：resultTxtName = "result.txt"resultfiledir = os.path.join(web_dir,resultTxtName)f_result=open(resultfiledir, "a+")if opt.which_model_netG[-5:] == "class": clss_loss_sum = 0 righ

目录问题描述解决问题描述安装OpenPCDet时，python setup.py develop报错：UserWarning: CUDA initialization: CUDA unknown error - this may be due to an incorrectly set up environment, e.g. changing env variable CUDA_VISIBLE_DEVICES after program start. Setting the available

import cv2报错ImportError: /lib/python3.6/site-packages/../../libopencv_dnn.so.3.4: undefined symbol: _ZNK6google8protobuf7Message25InitializationErrorStringB5cxx11Ev原因https://github.com/ContinuumIO/anaconda-issues/issues/9601#issuecomment-397340727解决

论文原文：Ting-Chun Wang, Ming-Yu Liu, Andrew Tao, Guilin Liu, Jan Kautz, and Bryan Catanzaro. "Few-shot Video-to-Video Synthesis", in NeurIPS, 2019.https://nvlabs.github.io/few-shot-vid2vid/main.pdf论文地址：https://nvlabs.github.io/few-shot-vid2vid/..

T.-C. Wang et al., “Video-to-Video Synthesis,” arXiv:1808.06601 [cs], Dec. 2018, Accessed: Nov. 03, 2020. [Online]. Available: http://arxiv.org/abs/1808.06601.论文项目地址:https://tcwang0509.github.io/vid2vid/Abstractvideo-to-video synthesis: 学习一个从输入视频..

问题描述有两个PSNR的计算代码。代码1def PSNR(img1, img2): pdb.set_trace() mse = np.mean( (img1 - img2) ** 2 ) if mse == 0: return 100 PIXEL_MAX = 255.0 psnr = 20 * math.log10(PIXEL_MAX / math.sqrt(mse)) print(psnr) return psnr代码2def getpsnr(img1,img

问题描述前一段升级了Pytorch(从0.4.0升级到了1.1.0)，这几天用多块卡跑一个判别器用了WGAN-GP的网络。当使用单张GPU时，一切正常；但当使用多块GPU时，D Loss会爆炸！爆炸原因是其中的Gradient Penalty分量爆炸！问题原因：参考这篇震惊的文章：震惊！！！PyTorch实现的WGAN-GP竟会爆炸发现是pytorch版本的问题。解决方案：把pytorch更新到最新版本(1.6.0)即可。anaconda的更新方法：con..

原因：在网络本身有随机变量的情况下，随机变量很可能是在定义网络时按照预设的batchSzie确定的维度。这样，如果总的训练集的Size不能被batchSize整除，就会出现网络输入数据的Size和生成的随机变量的size在Batchsize那个维度上不匹配的问题，从而报错。解决：调整BatchSize使其能够整除Size；或调整数据集大小使其能够被BatchSize整除。或检查输入数据的batchsize，当它和预设的batchsize不匹配时强行补齐；总结之..

点乘：torch.multorch.mul(a, b)是矩阵a和b点乘，a和b的维度必须相等，比如a的维度是(1, 2)，b的维度是(1, 2)，返回的仍是(1, 2)的矩阵矩阵乘法：torch.mm和torch.multorch.mm(a, b)是矩阵a和b矩阵相乘，比如a的维度是(1, 2)，b的维度是(2, 3)，返回的就是(1, 3)的矩阵torch.matmul则可以用于两个图片矩阵相乘，如a的维度是[bs,3,128,256]; b的维度是[bs, 3, 256,512],.

错误原因这是使用nn.DataParallel产生的错误，DataParallel或DistributedDataParallel产生的错误。从它的源码中就能看出来：class DataParallel(Module): def __init__(self, module, device_ids=None, output_device=None, dim=0): super(DataParallel, self).__init__() if not t

1. 单机单卡转单机多卡对于Pytorch1.0以上版本，转多卡的方法和0.4.0不太一样。经过多次尝试，下面的方法是尝试过的所有方法中最方便的。https://zhuanlan.zhihu.com/p/864418792. 多卡平衡依旧是上面的文章，不过我试了之后只是平衡了一点，还在尝试中https://zhuanlan.zhihu.com/p/864418793. 多卡训练时的报错error1：RuntimeError: Expected to have fi..

问题描述有一个能够正常运行的网络，其中有几层是这样的：XXXNet( (Encoder): Sequential( ... ... (9): Conv2d(256, 512, kernel_size=(4, 4), stride=(2, 2), padding=(1, 1), bias=False) (10): InstanceNorm2d(1024, eps=1e-05, momentum=0.1, affine=False, track_running_st

错误描述使用Pytorch1.3.1加载在pytorch0.3.1下训练保存的模型时，出现如下错误：Unexpected running stats buffer(s) "model.model.1.model.2.running_mean" and "model.model.1.model.2.running_var" for InstanceNorm2d with track_running_stats=False. If state_dict is a checkpoint saved be

报错情况在计算两个tensor的loss时，使用了如下代码：u = eps * (torch.log(mu+1e-8) - torch.logsumexp(self.M(C, u, v), dim=-1)) + u报错：RuntimeError: expected device cuda:4 but got device cpu错误原因这里，M是一个函数。C的类型为：tensor([[44514.2383 ... 44565.1055]], device='cuda:..

问题描述在计算两个tensor的wassertein distance(记为loss)后，执行loss.backward()报错：RuntimeError: there are no graph nodes that require computing gradients问题原因loss是中断梯度传播的变量，即：(Pdb) loss.requires_gradFalse解决方法把计算wassertein距离的最后一行：loss = Varia..

在使用下面的文章和第三方库Marco Cuturi,Sinkhorn Distances: Lightspeed Computation of Optimal Transport, NIPS 2013https://pythonot.github.io/计算Entropic Regularization的Wassertein loss时，总是出现如下问题：Warning: numerical errors at iteration 0导致计算出的Wassertein distanc.

报错代码self.loss_G_latent = (self.latent_i.mean() - self.latent_t.mean()) * self.opt.lambda_Aself.loss_G_latent.backward()运行到最后一行时报错：*** RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation其中

*** FileNotFoundError: [Errno 2] No such file or directory: '~/DeepLearning/.../XXXXXnet.pth'对应的代码为：weight_path = '~/DeepLearning/......'save_path = os.path.join(weight_path, save_filename)错误原因：这里是python不是linux，~在Python里不能直接代表主目录，所以要用绝对路径。更改.

代码如下：def load_ae(self, network): pdb.set_trace() save_filename = 'latest_net_AE.pth' save_path = os.path.join(self.save_dir, save_filename) network.load_state_dict(torch.load(save_path))报错：KeyError: 'unexpected k...

问题描述：网络结构用的是u-net，结构大概如下：目的是将红色矩形标出的latent层结果输出，同时不影响网络的正常训练。这本来应该是一个很简单的问题，只需要self.latent, self.fake_B = self.netG.forward(self.real_A)即可。但问题在于U-Net的代码原本使用的是嵌套结构，代码如下：class UnetGenerator(nn.Module): def __init__(self, input_nc, output_nc, num_

1. 测度(Measure)刚开始看到Measure的时候还以为是测量值的意思...，Measure(测度)的含义根据百度百科如下：测度，数学术语。数学上，测度（Measure）是一个函数，它对一个给定集合的某些子集指定一个数，这个数可以比作大小、体积、概率等等。传统的积分是在区间上进行的，后来人们希望把积分推广到任意的集合上，就发展出测度的概念，它在数学分析和概率论有重要的地位。测度的具体定义为(还是来自百度百科)定义1：构造一个集函数，它能赋予实数集簇М中的每一个集合E一个非负扩充

如何将1*1的tensor类型的变量转换为Python的标量？如下面这行代码所示：def ssim(img1,img2): img1 = torch.from_numpy(np.rollaxis(img1, 2)).float().unsqueeze(0)/255.0 img2 = torch.from_numpy(np.rollaxis(img2, 2)).float().unsqueeze(0)/255.0 img1 = Variable( img1, r.

图像的采样和量化是数字图像获取、存储中的必要步骤。根据奈奎斯特采样定律:An analog signal can be perfectly reconstructed form its samples as long as the sampling frequency is at least twice the amount of the maximum frequency compone...

某次图像生成实验的保存结果是下面这些图片，现在想要计算相同迭代次数下的*_real_image*和*_synthesized*两张图片之间的SSIM和PSNR。整理出的代码如下：import numpy import numpy as npimport mathimport cv2import torchimport pytorch_ssimfrom to...

分两种情况：1. 在网络训练过程中计算Output和Groundtruth之间的SSIM，作为损失函数；2. 直接计算两张图片之间的SSIM。情况1https://github.com/congyucn/pytorch-ssim可直接使用上述代码。情况2...