yanghao201607030101的博客

本论文设计出一种新的神经网络，能够直接处理具有转换不变性的点云。我们将这个神经网络叫做PointNet，它为目标分类，部件分割和场景语义分割提供另一个统一架构，该网络简单高效。

MobileNets是一个轻量级的网络族，适用于计算资源受限的移动设备或嵌入式设备，能够更具实际应用场景，通过调整宽度缩放系数和分辨率实现模型的缩放以应对实际需求。

visdom在模型训练中可视化loss的常用方法

本文简单的梳理了ResNeXt网络的相关知识，文中写了原论文中有关ResNeXt架构等知识的部分描述。

import torch.optim as optimimport torchimport torchvision.models as modelsdevice=torch.device("cuda" if torch.cuda.is_available() else "cpu")model=models.resnet50(pretrained=False).to(device)optimizer=optim.Adam(model.parameters(),0.01)scheduler = op

搜集深度学习、机器学习中有关损失函数，优化器等相关知识的优秀博文。

背景：目标检测方法可分为自上而下和自下而上两种：在自上而下的方法中，以矩形框的形式检测目标，并基于这些框以整体方式预测目标。如R-CNN和Faster R-CNN这样的（two-stage）从图片或者特征图上截取矩形区，然后进一步分类，或则SSD这样生成固定大小anchor来作为目标的先验等，这些方式都是自上而下，虽然其现在仍然再目标检测领域中占主流，但是存在明显的缺点：我们的目标大多数不能和矩形边框形状贴合，往往矩形边框都是把目标包含在内，里面还有大量的容易干扰的背景区域，因此这种矩形边框不是我们

torch.optim是一个用于实现优化算法的包，支持常见的优化算法。本文介绍一下这个包下面的一些常见内容，如optimizer和lr_scheduler的构造和使用。optimizeroptimizer用于根据已得到的梯度来更新网络参数。optimizer（优化器）的构造：构造优化器需要传入一个包含要学习参数的迭代器，此外还有一些学习策略参数如学习率等。以常用的两个优化器SGD和Adam为例：optimizer = optim.SGD(model.parameters(), lr=0.01,

pytorch中与保存和加载模型有关函数有三个：1.torch.save:将序列化的对象保存到磁盘。此函数使用Python的pickle实用程序进行序列化。使用此功能可以保存各种对象的模型，张量和字典。2. torch.load:使用pickle的unpickle工具将pickle的对象文件反序列化到内存中。即加载save保存的东西。3. torch.nn.Module.load_state_dict:使用反序列化的state_dict加载模型的参数字典。注意，这意味着它的传入的参数应该是一个stat

本文介绍pytorch使用中可能会涉及到的三种数据格式：PIL,ndarray,tensor,并介绍其转换方式。1.PIL :python内置的，python image library。type（）输出类型：<class ‘PIL.JpegImagePlugin.JpegImageFile’>。2.cv2:opencv的python接口（读进来是ndarray格式，numpy的ndarray（cv2）就是各种格式之间的中转），type（）输出类型：<class ‘numpy.ndar

首先回顾ResNetv1， 这里把第一版本的ResNet叫做原始版本，原始版本中的网络结构由大量残差单元（“Residual Units”）组成。这些残差单元，可由以下公式表示：yl=h(xl)+F(xl,Wl),(1)y_l = h(x_l) + F(x_l, W_l) , (1)yl​=h(xl​)+F(xl​,Wl​),(1)xl+1=f(yl),(2)x_{l+1} = f(y_l),(2)xl+1​=f(yl​),(2)xl和xl+1分别为第l个单元的输入和输出, FFF代表残差函数，h(xl

背景：VGG到GoogleNet等网络的演变证明了深度对于神经网络来说是至关重要的，ImageNet数据集挑战上的神经网络的深度也从16演变到了30+，深度的提升给网络带来了性能的提高，即越深越好。这就引出了一个问题，是否可以通过简单的堆叠网络来得到越深的网络呢？实验证明不行！图1：简单的堆叠网络得到的20层和56层个不同深度的网络（plain network）在训练集和测试集上的错误率。可以看见，56层的反而比20层的还差。这就有点不应该了，理论上来讲我越深即使不必你浅的网络更好，但至少不应该

冻结训练的作用：当我们已有部分预训练权重，这部分预训练权重所应用的那部分网络是通用的，如骨干网络，那么我们可以先冻结这部分权重的训练，将更多的资源放在训练后面部分的网络参数，这样使得时间和资源利用都能得到很大改善。然后后面的网络参数训练一段时间之后再解冻这些被冻结的部分，这时再全部一起训练。参考知乎帖子：https://www.zhihu.com/question/311095447/answer/589307812#------------------------------------## 冻

这篇拉通的讲了faster r-cnn：https://www.zhihu.com/collection/595537451这篇细讲了RPN的细节：https://blog.youkuaiyun.com/ying86615791/article/details/72788414强调一点，就是下图中的那个intermediate的作用。原文中提到的是一个小网络以滑动窗口的形式划过最后一个卷积层输出的feature maps，并且这个小的network的窗口空间大小是nn的。结合图形我的理解是RPN的网络是以一个3

A standard solution, known as hard negative mining, is to iteratively grow, or bootstrap, a small set of negative examples by selecting those negatives for which the detector triggers a false positive alarm. This strategy leads to an iterative training alg

FastRCNN是基于RCNN和SPPnet等网络的基础上上做了系列的创新型的改进得到的，比起前面的工作既提高了训练和测试的速度，也提高了一点准确度。文章作者分析了RCNN和SPPnet各自的 缺点，然后对比指出自己的Fast RCNN带来了哪些贡献。RCNN的缺点：Training is a multi-stage pipeline 。RCNN训练是一个多阶段的流程，分三个阶段，分别是为一、CNN做fine-tuning；二、利用微调之后得到的特征训练SVM；三、训练bounding box re

b站这个Up主讲的挺好，就是莫名其妙搞个背景音乐怪怪的。。。视频讲解Spatial Pyramid Pooling（SPP）中文叫空间金字塔池化这个原理要解决的是传统CNN网络对输入图片尺寸要固定这个限制，比如AlexNet中的输入图片都有固定此村224×224，RCNN中为了讲Proposals 做CNN卷积提取特征也得先将不同大小的Proposal经过wrap缩放成同一大小。那为什么CNN要求输入的图片尺寸固定呢？因为CNN中的最后的全连接层的输入尺寸是固定的（别问我全连接层为什么输入尺寸是固定

paper：Rich feature hierarchies for accurate object detection and semantic segmentation比较好的博客：https://zhuanlan.zhihu.com/p/23006190https://blog.youkuaiyun.com/WoPawn/article/details/52133338以上博客可以帮助很好理解，然后就是个人的补充了。名词解释：ImageNet ILSVC 2012：一个用于图片分类的数据集，每张图片都

错误代码:CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://repo.anaconda.com/pkgs/main/linux-64/current_repodata.json>Elapsed: -An HTTP error occurred when trying to retrieve this URL.HTTP errors are often intermittent, and a simple retry