zsysingapore的博客

（10次10折验证有点抽象）

但是为了方便信号传输，我们要对采样完的数字信号进行压缩，压缩就是会损失部分信息。1.采样频率是模拟信号最高频率的两倍，则采样信号能重构模拟信号。2.压缩感知，信号在正交空间具有稀疏性（也就是可压缩性）（限定等距性的概念不是很清楚）3.cs信息获取系统。

知识蒸馏部分内容，其他记在电脑的笔记里面了

eg1:超分辨率重构(首先先告诉神经网络什么是低分辨率，什么是高分辨率，让计算机学习两者的联系。eg2:警察抓小偷的时候，由于录像太过模糊，所以由模糊的数据生成清晰的数据。1.对抗生成网络的重点：有原始的输入，按照需求，生成新的数据。Training Set:训练集里面选取一些真的数据。判别器：把生成的判断为假，把生成的数据判别为真。Generator Network:生成网络。Random Vector:随机向量。所以生成网络就是二分类网络。（卷积网络h,w,c=3)损失函数决定网络的走向。

负采样的target是1，说明output word 在input word之后。（1）caffe:比较经常用于图像识别，有卷积网络的框架。（1）为0是负样本，负样本是认为构造出来的。正样本是有上下文关系。(2) Keras 比较简单、容易。

1.池化层作用（筛选、过滤、压缩）h和w变为原来的1/2，64是特征图个数保持不变。每个位置把最大的数字取出来用滑动窗口把最大的数值拿出来，把44变成222.卷积神经网络（1）conv：卷积进行特征提取，带参数（2）relu：激活函数，非线性变换，不带参数卷积层和relu搭配组合两次卷积一次池化，池化是进行压缩，不带参数FC全连接层【323210=10240特征，5分类】，有权重参数矩阵。

（3）Drop-out：在神经网络的训练过程中，在某一次的迭代中，每一层随机的按照固定的比例杀死一些神经元，不参与后序的更新与传播。杀死的神经元可能会在其他迭代中派上用场。sigmoid函数当梯度为0（斜率为0）的时候，不进行更新和传播，即梯度消失。（1）隐层1的神经元增加一个，相当于输入层输入一组参数。惩罚力度小的时候，模型奇形怪状。2）神经元，参数个数对结果的影响。过拟合是神经网络的一个大问题。（2）神经元是10个的时候。1）惩罚力度对结果的影响。（d,h)矩阵的行和列数。（1）神经元3个的时候。

(1)Xi是数据：一般是不变的，W是权重参数一般是可变的。（2）损失函数，用来衡量分类的结果，根据得分值明显的差异，我们要明确指导模型的当前效果的好和差。（深度学习的数据的扩充：如果是图像数据，可以对图像旋转、变换、镜面对称）（1）假设图片是猫，有一系列标签（狗，猫，汽车，飞机…3)总结：背景主导是一个最大的问题，但是我们关注的是主题（主要成分）(1)数据获取 （2）特征工程 （3）建立模型 （4）评估与应用。2）对应位置的像素点相减，但是会出现背景相同的会放在一起。w1猫的得分，w2是狗的得分。

（2）感受野定义：在卷积神经网络中，决定某一层输出结果中一个元素所对应的输入层区域的大小，被称作感受野。得到一个三维特征图，然后让三维的特征图，三个值进行相乘拉成特征向量，把得到的结果需要靠全连接层。（2）数据的维度越高，能提供的信息也越多，从而计算结果的可靠性更值得信赖。RNN的记忆能力强大，能把之前所有的结果记录下来，可能结果会产生误差。RNN:前一个时刻训练出的中间结果特征，也会对后一个时刻产生影响。x是原本就有的映射。（3）相似的词在特征表达中比较相似。3的卷积核替代7*7的卷积核。

输入x=2 , y=0 ,通过max门单元，得到结果2。2通过max门单元，给原本绿色值比较大的z, 所以z=2；输入x=3 , y=-4 ,通过乘法门单元，得到x。1.反向传播（这边推荐买鱼书）补充：反向传播就是求偏导。2=2 ，如何加法门单元求偏导，所以上下都是2。然后2*（-4）=-8门单元。（2）MAX门单元：给最大的。（1）加法门单元：均等分配。（3）乘法门单元：互换。z对x求偏导：得到1。z对y求偏导：得到1。z对x求偏导：得到y。z对y求偏导：得到x。