Joker's Time

part0.概述1.公式：g( f(x) ) = x.2.用途：降低维度，比同等维度的PCA的效果好；信息检索（图片或文字的），通过语意哈希part1.欠完备autoencoder1.定义：编码维度小于输入维度，迫使autoencoder去学习那些最显著的特征。学习过程: 最小化损失函数 L(x, g(f(x)) )2.与PCA的关系：如果decoder是线性的，L

inception

1. previous work [generative adversarial nets]paper link: http://arxiv.org/pdf/1406.2661v1.pdf torch implementation: https://github.com/soumith/dcgan.torch a. motivation: supervised

1.RNN的操作基于vecor X(t),长度从1->t,通常作用域这些序列组成的minibatch2.如果要求h(t)足够丰富，可以近似恢复输入序列，则相当于auto encoder.3.三种重要的RNN设计模式：1）每个时间步都有输出，且在隐单元间有循环链接2）每个时间步都有输出，且在当前时序的输出到下一时刻的隐单元之间有循环链接3）隐单元间有循环连接，全部序列只有一个输出

part1.optimization1.为什么需要代理损失函数？因为我们真正关心的损失函数通常不容易优化，比如0-1期望loss。因此我们使用代理损失函数来近似，优势是可导，比如用负对数似然NLL。2.即使expected 0-1 loss 为0，但NLL还是会持续减小，即令类间的距离再被分的更大一些，从而更鲁棒。3.为了防止过拟合，通常会在梯度还比较大的时候停止early s

part1.overflow and underflow1.underflow：接近0的数被约等于0，overflow:很大的数被约等于正无穷或者负无穷2.在softmax很常见softmax(x)i = exp(xi)/sum (exp(xj))假设所有的xi都等于一个常数c，如果c为很大的负数，exp(c)会underflow,使得上述分母为0.如果c为很大的整数，exp(

1.相同准确率下，参数更少的模型有三个好处：     1）高效的分布式训练     2）替换模型更容易     3）FPGA部署遍更便利2.本文三个策略：     1）用1*1的核来替换3*3的核，可以减少9倍参数     2）减少输入到3*3核的输入channel数量，因为参数由N*C*W*H决定     3）延后下采样，使得卷基层有较大的activtion maps

part0.基本定义1.好表达的定义：能够使得其后的学习变得容易的表达就是好的表达。所以一般取决于具体的任务。2.表达学习常见的trade-off:保持更多信息vs更好的特性，比如独立性part1.无监督预训练1.它利用了两个idea1)初始化的参数对于网络学习是一个正则项。2）无监督阶段学习的信息对于有监督学习有帮助。但是我们不清楚无监督的学习对于哪一种任务会

part0.概述1.正则化的作用：降低泛化误差而不是训练误差。2.形式：1）约束或者惩罚，被设计用来编码某些先验知识。2）对简单模型表达一种通用的选择3）其他形式的，比如ensemble，结合对于数据的多种解释。3.一般来说，大多数是针对estimator做正则。通过增加偏差来降低方差。part1.参数范式惩罚1.一般只对放射变换的weight做惩罚，而不去

1.define:sparse and time-delayed labels弱监督信息，无需大量标注样本2.env从虚拟中学习，反馈迅速，容易实现3.训练样本一帧或多帧，作为一次更新的训练样本4.动作状态序列state,action,reward     -> new state ...5.deftine state用画面隐式地包含状态信息，比如挡

Part I. RCNNPaper link: http://arxiv.org/pdf/1311.2524v5.pdfGithub link: https://github.com/rbgirshick/rcnnDetailed notes: http://zhangliliang.com/2014/07/23/paper-note-rcnn/(Regarding

1. Motivation: Decomposing low-rank filters into multiple smaller filters helps to speed up the test-time computation of deep CNNs, and previous works only propose algorithms for linear filters.

1. Motivation: conv layers use GLM (WX+b) to extract features; the level of abstraction is low (latent features are linearly seperable) ==> use MLP (can approximate any functions, whereas maxout only

part0.ICA vs PCA1.相同：1）都是要找是的一个n维的w，使得sum(wi*xi)的某种特征最大。2.PCA1)假设源信号间彼此非相关。（根据相关的定义，仅指的是线性相关）2）主元之间彼此正交，样本呈高斯分布3）认为最有用的信号体包含在方差里。因此要找到一个方向是的在该方向的投影的方差最大。然后在于第一个最大方差方向正交的方向里面找最大。这

inception