
深度学习
文章平均质量分 88
深度学习包括pytorch的使用,网络搭建等等
wa1ttinG
这个作者很懒,什么都没留下…
展开
-
torch.atan2函数详细解答
arctan实际上是用来计算点(x,y)的弧度的,是tan的反函数,推导如下,α为弧度y=arctan(x)其图像如下 y为弧度,x为任意值,这里不是指上面的x,y但这种弧度计算方式是有缺陷的,比如我想区分如下图A、B两点的弧度,如果AB弧度都是那么就无法区分开了,这也就是atan2解决的东西。原创 2023-04-11 16:40:00 · 9310 阅读 · 0 评论 -
drop path与drop out
p=0.5dropout和P下面是pytorch官方文档在训练期间,使用伯努利分布的样本,以概率p随机归零输入张量的一些元素。每个信道将在每次前向传播时独立归零。一句话来说就是我让输入的tensor中每一个元素都有p的概率变为0,剩下的元素都除以(1-p),就是扩大剩余的元素来保证整体平均值一定注意:在pytorch中的p也就是p是让输入归0的概率,也就可以说是输入失效的比例,越高失效越多Dropout作用于神经元也就是输入的tensor数据,而非作用域模型的params。原创 2023-04-09 22:19:30 · 827 阅读 · 0 评论 -
sparse conv稀疏卷积
"""Args:"""self.features = features # 储存密集的featureself.indices = indices # 储存每个feature对应的voxel坐标系下的坐标self.spatial_shape = spatial_shape #存储voxel的最大边界self.batch_size = batch_size # 储存batch sizeself.indice_dict = {} # 储存坐标之间的对应关系...参数。原创 2023-04-08 17:20:18 · 7810 阅读 · 3 评论 -
PyTorch的自动混合精度amp
scaler的大小在每次迭代中动态的估计,为了尽可能的减少梯度underflow,scaler应该更大;但是如果太大的话,半精度浮点型的tensor又容易overflow(变成inf或者NaN)。所以动态估计的原理就是在不出现inf或者NaN梯度值的情况下尽可能的增大scaler的值——在每次scaler.step(optimizer)中,都会检查是否又inf或NaN的梯度出现:1,如果出现了inf或者NaN,scaler.step(optimizer)会忽略此次的权重更新(optimizer.ste原创 2023-04-06 12:05:26 · 384 阅读 · 0 评论 -
pytorch Tensor类
可以看到都是shape为(2,3)的tensor,使用小写的tensor会报错。原创 2023-04-05 16:50:18 · 931 阅读 · 0 评论 -
pytorch 模型和模型保存
比如。原创 2023-04-03 19:59:14 · 374 阅读 · 0 评论 -
语义分割评价指标
比如对于猫来说,我预测他不为猫,而且他真的不是猫,这部分我们不管,我们要注意的是我们预测为猫但他不是猫(FP),我们预测不是猫但他真的是猫(FN),以及交集我们预测为猫,他也确实为猫(TP)。positive为我预测为真,negative为我预测为假,true和false表示我预测的对不对,我预测为真(positive)但他是假(negative),我预测地不对,那就是(FP)就是我预测是猫且对了的个数(tp)/全部猫的总数(这里指真实标签)当分类问题是二分问题时,混淆矩阵可以用上面的方法计算。原创 2023-03-30 15:14:55 · 388 阅读 · 0 评论 -
torch.histc深入理解
用于统计落入区域的值的个数。inputbins=100min=0max=0out=None→Tensorinput (Tensor) – the input tensor.输入的值,统计各个数出现了多少次原创 2023-03-22 16:03:18 · 1234 阅读 · 0 评论 -
batchnormlization、layer normalization通俗理解
对进行归一化处理,在图像处理中当然指的是每一层是一个特征图也就是相同的特征。原创 2023-03-20 16:24:20 · 856 阅读 · 0 评论 -
pytorch接口
1、除了MLP和bn层好像都是要特征作用于最后一维,MLP,maxpool、bn层要将特征放在batch号的后边。linear:channel放在最后。原创 2023-03-17 20:49:59 · 699 阅读 · 0 评论 -
Pytorch数据加载流程和数据加载相关知识
Pytorch数据加载流程原创 2023-03-17 19:59:31 · 415 阅读 · 0 评论 -
L1,L2正则化及权重衰减的理解
dropout和P下面是pytorch官方文档在训练期间,使用伯努利分布的样本,以概率p随机归零输入张量的一些元素。每个信道将在每次前向呼叫时独立归零。注意在pytorch中的p也就是p是让输入归0的概率,也就可以说是输入失效的比例,越高失效越多![在这里插入图片描述](对loss代价函数上添加上对w的惩罚项。原创 2023-03-17 20:04:40 · 555 阅读 · 0 评论