<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[vectorindex的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/vectorindex</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; vectorindex]]></copyright><item><title><![CDATA[为什么需要设置验证集(validation)]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115653930</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115653930</guid><author>vectorindex</author><pubDate>Tue, 13 Apr 2021 09:19:24 +0800</pubDate><description><![CDATA[以前学习机器学习，只有train和test，为什么现在添加了validation？

1.若训练时用train来判断现在模型的训练情况以决定训练结束的时间，其模型可能只对train的训练集效果好，无泛化能力。

2.若训练时用test来判断现在模型的训练情况以决定训练结束的时间，其模型可能已经对test效果好了，再用test评估模型不公平。
...]]></description><category></category></item><item><title><![CDATA[关于端到端学习和非端到端学习的简单理解]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115622091</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115622091</guid><author>vectorindex</author><pubDate>Mon, 12 Apr 2021 14:52:31 +0800</pubDate><description><![CDATA[在看R-CNN 和Faster R-CNN，学到了两个词，端到端学习和非端到端学习。

1.端到端学习：输入X，直接预测最终结果Y

2.非端到端：需要多个组件才能预测最终结果 （example:R-CNN 需要单独的训练三个模块，包括   ①CNN特征向量的提取       ②SVM分类      ③边框修正）

其意义：

若数据集不够训练，可以考虑非端到端



像通过儿童手骨X光预测年龄，没有这么多数据集，即手骨与年龄的标注数据集训练，但可以让其识别骨头，然后拿骨...]]></description><category></category></item><item><title><![CDATA[关于Pytorch加载预训练模型]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115599276</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115599276</guid><author>vectorindex</author><pubDate>Sun, 11 Apr 2021 14:55:57 +0800</pubDate><description><![CDATA[1.关于Pytorch加载预训练模型



自定义网络类的字典是OrderedDict字典，为顺序的，即是按照代码中声明层的先后顺序输出的。


    def __init__(self, in_channel, out_channel, stride=1, downsample=None, **kwargs):
        super(BasicBlock, self).__init__()
        self.conv1 = nn.Conv2d(in_channels=in_channel,]]></description><category></category></item><item><title><![CDATA[关于Batch和权值更新的时间]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115578564</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115578564</guid><author>vectorindex</author><pubDate>Sat, 10 Apr 2021 16:01:53 +0800</pubDate><description><![CDATA[一直以为：输入一张数据，就前向传播，然后反向传播更新权重。（X）

正确理解：

梯度下降：损失函数定义在所有样本上。每次都是在所有样本上作梯度下降。







随机梯度下降(SGD): 每次随机选择一个样本，损失函数定义在一个样本上。每次都是在一个样本上作梯度下降。







mini batch：每次随机选择batch_size 个样本，损失函数定义在batch_size个样本上。每次都是在batch_size个样本上作梯度下降。

看公式可知，不是一个样本就更新一次权值，Batch需要全部算.]]></description><category></category></item><item><title><![CDATA[Pytorch的Sequential容器]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115563387</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115563387</guid><author>vectorindex</author><pubDate>Sat, 10 Apr 2021 09:05:41 +0800</pubDate><description><![CDATA[据上图可知：Suquential传入的是一个Module的列表，也就是继承nn.Module的类。

不能光想着下面这几个Example的写法，一个Module类也是一块网络（一个类不一定要定义完整的网络哦，一块也行，一行也行），一行nn.Conv2d也是一块网络


        layers = []
        layers.append(block(self.in_channel,
                            channel,
                 ..]]></description><category></category></item><item><title><![CDATA[train模式（net.train())和eval模式（net.eval())]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115554228</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115554228</guid><author>vectorindex</author><pubDate>Fri, 09 Apr 2021 16:44:09 +0800</pubDate><description><![CDATA[神经网络模块存在两种模式，train模式（net.train())和eval模式（net.eval())。一般的神经网络中，这两种模式是一样的，只有当模型中存在dropout和batchnorm的时候才有区别。



一旦我们用测试集进行结果测试的时候，一定要使用net.eval()把dropout关掉，因为这里我们的目的是测试训练好的网络，而不是在训练网络，没有必要再dropout和再计算BN的方差和均值(BN使用训练的历史值)。


...]]></description><category></category></item><item><title><![CDATA[x = x.view(x.size(0), -1) 的理解]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115478071</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115478071</guid><author>vectorindex</author><pubDate>Wed, 07 Apr 2021 09:32:38 +0800</pubDate><description><![CDATA[Pytorch的tensor的view方法



相当于numpy中resize（）的功能，但是用法可能不太一样。

把原先tensor中的数据按照行优先的顺序排成一个一维的数据（这里应该是因为要求地址是连续存储的），然后按照参数组合成其他维度的tensor。比如说是不管你原先的数据是[[[1,2,3],[4,5,6]]]还是[1,2,3,4,5,6]，因为它们排成一维向量都是6个元素，所以只要view后面的参数一致，得到的结果都是一样

X.view(x.size(0),-1) ，-1为推断是几（即一维.]]></description><category></category></item><item><title><![CDATA[关于pytorch的save函数]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115467577</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115467577</guid><author>vectorindex</author><pubDate>Tue, 06 Apr 2021 18:38:35 +0800</pubDate><description><![CDATA[# torch.save(Modul.state_dict(),store_dir)#保存训练模型
        torch.save(Modul,store_dir)#上面的只保存了参数 测试时会'collections.OrderedDict' object has no attribute 'forward'

RT
]]></description><category></category></item><item><title><![CDATA[Python函数中的冒号和箭头]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115446307</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115446307</guid><author>vectorindex</author><pubDate>Mon, 05 Apr 2021 18:59:45 +0800</pubDate><description><![CDATA[def sum(a:int,b:int=100) -&gt;int:
    a = 200
    return a+b
if __name__ == '__main__':
    c = sum(a=0)
    print(c)

其实函数参数中的冒号是参数的类型建议符，告诉程序员希望传入的实参的类型。函数后面跟着的箭头是函数返回值的类型建议符，用来说明该函数返回的值是什么类型。

值得注意的是，类型建议符并非强制规定和检查，也就是说即使传入的实际参数与建议参数不符，也不会报错
...]]></description><category></category></item><item><title><![CDATA[关于神经网络中的Hyperparameter]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115437925</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115437925</guid><author>vectorindex</author><pubDate>Mon, 05 Apr 2021 09:18:49 +0800</pubDate><description><![CDATA[Hyperparameter(超参数)

在机器学习的中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。

如果这些超参数没有设置合适的值，模型的性能可能就会很差。感觉超参数的设置就是在试错

调整超参数的时候，一般用超参数专用的确认数据，成为Validation data（验证数据）。

个人感觉：traindata 是用来得到需要训练得到的数据，然后validation data 来测试人为设.]]></description><category></category></item><item><title><![CDATA[神经网络中Affine layer]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115425696</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115425696</guid><author>vectorindex</author><pubDate>Sun, 04 Apr 2021 09:58:44 +0800</pubDate><description><![CDATA[仿射层Affine layer是神经网络中的全连接层，其中仿射的可以看做是不同层神经元之间的相互连接，在许多方面可以被看作是神经网络的「标准」层。

仿射层的一般形式如下

y = f( wx + b)

x 是层输入，w 是参数，b 是偏差，f 是非线性激活函数。

全连接一般通常被用于卷积神经网络输出的最终层
...]]></description><category></category></item><item><title><![CDATA[Python类中的变量]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115416754</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115416754</guid><author>vectorindex</author><pubDate>Sat, 03 Apr 2021 15:43:40 +0800</pubDate><description><![CDATA[一、类变量

1.1可变变量作为类变量：对于列表、字典、自定义类这些可变变量，如果将其作为类变量，则是传引用。即所有对象的类变量公用一个内存地址。

1.2不可变变量作为类变量：对于INT，STRING这种不可变变量，如果将其作为类变量，则是传值。即所有对象的类变量有各自的内存地址。

  对于1.2：第一次对象的变量没改，改类的变量会影响对象变量，只要改一次对象变量，就不会影响了


    A.ui = 10
    print(object1.ui)
    object1.ui = 5
  ...]]></description><category></category></item><item><title><![CDATA[Python的Input不进行转义]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115413792</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115413792</guid><author>vectorindex</author><pubDate>Sat, 03 Apr 2021 11:03:39 +0800</pubDate><description><![CDATA[print('\\\n')
a = input()
print(a)

output：


\  #对字符串\\\n的输出

\\\n #input接收的输入
\\\n

综上所述：input会对输入原样输出，不进行转义
]]></description><category></category></item><item><title><![CDATA[Numpy(第四章)]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115411709</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115411709</guid><author>vectorindex</author><pubDate>Sat, 03 Apr 2021 08:25:30 +0800</pubDate><description><![CDATA[Numpy花式索引

布尔类型or位置索引


a = np.array(range(0,11))
print(a)
print(a&gt;5)
print(a[ [False,False,False,False,False,False,True,True,True,True,True]])
print(a[(a&gt;5)&amp;(a%2==0)])
print(a[[1,2,3]])

注意区别a[1,2,3]与a[[1,2,3]]: 第一个为取a[1][2][3]  第二个为取a第一行的1，2...]]></description><category></category></item><item><title><![CDATA[Im2col+GEMM快速卷积]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115390571</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115390571</guid><author>vectorindex</author><pubDate>Fri, 02 Apr 2021 09:18:50 +0800</pubDate><description><![CDATA[核心思想：将卷积操作（一个个数据窗口相乘求和）变为矩阵乘法，进行快速计算

如何将普通卷积的操作变成有意义的矩阵相乘？？？

关键点：普通卷积操作：即①对应位置相乘，之后累加。但如果把w矩阵以及x被w圈起来的部分②拉直（展平），就变成了两个向量。

③然后向量对应位置相乘之后累加，此形式就变成了两个向量点乘，如果把x被圈的部分全部拉直变成向量，④向量组合乘矩阵。把每一个卷积

核也都拉直，凑起来变成矩阵。利用矩阵来进行多个向量的点乘，⑤变成了矩阵乘法。算出来reshape一下就变回去了。

①②就是Im2.]]></description><category></category></item><item><title><![CDATA[Numpy(第三章)]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115379882</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115379882</guid><author>vectorindex</author><pubDate>Thu, 01 Apr 2021 17:53:49 +0800</pubDate><description><![CDATA[对象的索引与切片

1.Array对象的索引


print(e[0,0,1,0])#一个数的索引就是括号从外到内

  此处相当于列表的e[0][0][1][0],其索引的意义为从括号由外到内索引

2.Array对象的切片


c = a[0:4]#a[:4] a[4:] 这样也是改
c1 = a[5:8].copy() #这样才不会改a的值

d = [i for i in range(10)]
b = [i for i in range(4)]

w = d[0:4] #这种切片就copy了个...]]></description><category></category></item><item><title><![CDATA[卷积神经网络与人工神经网络]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115378098</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115378098</guid><author>vectorindex</author><pubDate>Thu, 01 Apr 2021 17:04:21 +0800</pubDate><description><![CDATA[1.卷积层 ：每个卷积核产生一张提取后的单通道图像(3通道进行卷积后也是1张了，因为累加了)

2.pooling层：对每张矩阵是单连接的，即一张矩阵对应一个pooling。

3.全连接层：相当与把3张图像，即[C,W,H]进行展平为C*W*H个神经元，全连接到全连接层

卷积层不要和全连接混了！看图以为卷积不也是全连接吗？？？

  ANN为全排列方式展示出来，即1维度，而CNN每层的神经元都是3维度展示出来，但其内部的实现原理都是由神经元模型组成的神经网络





左边是实际的情况，右边是普...]]></description><category></category></item><item><title><![CDATA[Numpy(第二章)]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115365964</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115365964</guid><author>vectorindex</author><pubDate>Thu, 01 Apr 2021 09:06:21 +0800</pubDate><description><![CDATA[Array对象的基本操作

1.输出对象的size


print(e.size)#size输出的是单位元素的个数，即不可再分的元素

2.输出对象每维的元素个数


print(e.shape)#shape输出的是每个维度的个数

注意区分size和shape：size是不可分元素的个数，shape为每维包裹的东西的个数，即shape里面的数相乘即为size



3.输出数组的维度


print(e.ndim)#输出维度

 关于2，3的n维度：每个维度即匹配的中括号包裹的就算1维，里面包的...]]></description><category></category></item><item><title><![CDATA[Numpy(第一章)]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115365473</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115365473</guid><author>vectorindex</author><pubDate>Thu, 01 Apr 2021 07:43:25 +0800</pubDate><description><![CDATA[一：Numpy数组 与 Python列表的区别

 1.数组的大小不可以更改（python列表可用用append等操作）

 2.数组对象内的元素类型必须相同（python列表里可以是大杂烩）

二：初始化

 1.利用已有列表进行初始化（试过元组好像也可以，字典可能不行）


a = [random.uniform(100.0,200.0) for i in range(50)]
a = np.array(a)

2.利用range初始化


yd = np.array(range(0,50,3)...]]></description><category></category></item><item><title><![CDATA[输出层的几种激活函数]]></title><link>https://blog.youkuaiyun.com/vectorindex/article/details/115330640</link><guid>https://blog.youkuaiyun.com/vectorindex/article/details/115330640</guid><author>vectorindex</author><pubDate>Tue, 30 Mar 2021 17:14:25 +0800</pubDate><description><![CDATA[1.恒等函数：按照原样进行输出，对输出的信息不加以任何的改动

 2.softmax激活函数 ：适用于多分类问题，输出属于各个分类的概率 （因为输出层softmax全部相加=1，正是因为这个原因，把softmax解释为概率）

 3.sigmoid激活函数：适用于二分类，单个输出为0到1间的概率，所以他看的并不是输出的整体。

关于2，3的理解：



输出(0, 1)代表“是”，输出(1, 0)代表“否”

Softmax可能输出(0.3, 0.7)，代表算法认为“是”的概率是0.7，“否”...]]></description><category></category></item></channel></rss>