<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Joker's Time]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/lebula</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lebula]]></copyright><item><title><![CDATA[线代]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/78898119</link><guid>https://blog.youkuaiyun.com/lebula/article/details/78898119</guid><author>lebula</author><pubDate>Tue, 26 Dec 2017 00:17:02 +0800</pubDate><description><![CDATA[1.矩阵就是映射
1)mxn表示从n维空间到m维空间的一个映射
而且矩阵的列向量就是原来该列基地被映射后到达的终点。（矩阵各列实际上是各个单位向量e1,…,en移动的目标点）(各个列向量的本质是各个坐标轴方向上的单位向量e,…,em经过映射后到达的目标点)
考虑 A=[2,1;1,3], 则e1 = (1,0)' 被移动到(2,1)’, e2 = (0,1) 被移动到(1,3)’
2)矩阵]]></description><category></category></item><item><title><![CDATA[A Brief History of CNNs in Image Segmentation: From R-CNN to Mask R-CNN]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/70738309</link><guid>https://blog.youkuaiyun.com/lebula/article/details/70738309</guid><author>lebula</author><pubDate>Tue, 25 Apr 2017 13:29:09 +0800</pubDate><description><![CDATA[At Athelas, we use Convolutional Neural Networks(CNNs) for a lot more than just classification! In this post, we’ll see how CNNs
 can be used, with great results, in image instance segmentation.]]></description><category></category></item><item><title><![CDATA[读书笔记：Deep Learning [Ada-Computation&ML series]--chapter10.Sequence Modeling:RNN]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/53661595</link><guid>https://blog.youkuaiyun.com/lebula/article/details/53661595</guid><author>lebula</author><pubDate>Thu, 15 Dec 2016 04:04:56 +0800</pubDate><description><![CDATA[1.RNN的操作基于vecor X(t),长度从1->t,通常作用域这些序列组成的minibatch
2.如果要求h(t)足够丰富，可以近似恢复输入序列，则相当于auto encoder.
3.三种重要的RNN设计模式：
1）每个时间步都有输出，且在隐单元间有循环链接
2）每个时间步都有输出，且在当前时序的输出到下一时刻的隐单元之间有循环链接
3）隐单元间有循环连接，全部序列只有一个输出]]></description><category></category></item><item><title><![CDATA[读书笔记：Deep Learning [Ada-Computation&ML series]--chapter8.Optimization]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/53419383</link><guid>https://blog.youkuaiyun.com/lebula/article/details/53419383</guid><author>lebula</author><pubDate>Thu, 01 Dec 2016 11:06:23 +0800</pubDate><description><![CDATA[part1.optimization

1.为什么需要代理损失函数？因为我们真正关心的损失函数通常不容易优化，比如0-1期望loss。因此我们使用代理损失函数来近似，优势是可导，比如用负对数似然NLL。
2.即使expected 0-1 loss 为0，但NLL还是会持续减小，即令类间的距离再被分的更大一些，从而更鲁棒。

3.为了防止过拟合，通常会在梯度还比较大的时候停止early s]]></description><category></category></item><item><title><![CDATA[读书笔记：Deep Learning [Ada-Computation&ML series]--chapter4.Numerical Computation]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/53401947</link><guid>https://blog.youkuaiyun.com/lebula/article/details/53401947</guid><author>lebula</author><pubDate>Tue, 29 Nov 2016 23:18:08 +0800</pubDate><description><![CDATA[part1.overflow and underflow
1.underflow：接近0的数被约等于0，overflow:很大的数被约等于正无穷或者负无穷
2.在softmax很常见
softmax(x)i = exp(xi)/sum (exp(xj))
假设所有的xi都等于一个常数c，如果c为很大的负数，exp(c)会underflow,使得上述分母为0.
如果c为很大的整数，exp(]]></description><category></category></item><item><title><![CDATA[论文笔记：SqueezeNet]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/53384936</link><guid>https://blog.youkuaiyun.com/lebula/article/details/53384936</guid><author>lebula</author><pubDate>Mon, 28 Nov 2016 21:17:56 +0800</pubDate><description><![CDATA[1.相同准确率下，参数更少的模型有三个好处：
     1）高效的分布式训练
     2）替换模型更容易
     3）FPGA部署遍更便利
2.本文三个策略：
     1）用1*1的核来替换3*3的核，可以减少9倍参数
     2）减少输入到3*3核的输入channel数量，因为参数由N*C*W*H决定
     3）延后下采样，使得卷基层有较大的activtion maps]]></description><category></category></item><item><title><![CDATA[Torch-nn学习: Simpley Layer]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/53172817</link><guid>https://blog.youkuaiyun.com/lebula/article/details/53172817</guid><author>lebula</author><pubDate>Tue, 15 Nov 2016 16:58:01 +0800</pubDate><description><![CDATA[1.Linear:y = Ax + b


module = nn.Linear(inputDimension, outputDimension, [bias = true])


 module = nn.Linear(10, 5)  -- 10 inputs, 5 outputs

 print(module.weight)	//W
 print(module.bias)	//]]></description><category></category></item><item><title><![CDATA[Torch-nn学习：Tabel Layer]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/53168712</link><guid>https://blog.youkuaiyun.com/lebula/article/details/53168712</guid><author>lebula</author><pubDate>Tue, 15 Nov 2016 14:19:02 +0800</pubDate><description><![CDATA[1.ConcatTable：对每个成员模块应用相同输入。
如图：

                  +-----------+
             +----> {member1, |
+-------+    |    |           |
| input +----+---->  member2, |
+-------+    |    |           |]]></description><category></category></item><item><title><![CDATA[论文笔记：CTC]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/53118543</link><guid>https://blog.youkuaiyun.com/lebula/article/details/53118543</guid><author>lebula</author><pubDate>Thu, 10 Nov 2016 18:08:04 +0800</pubDate><description><![CDATA[1.label error rate：归一化的编辑距离。LER= 总ED/num

2.pie关于x的条件概率:

其中，y = Nw(x),是网络的输出序列，可以看做时刻t输出为k的概率。
T是输出序列长度L+{blank} define as L’ 的长度.
pie 是L’的元素，被称为path。


3.指定label l 关于输入x的条件概率

1) beta(-aa]]></description><category></category></item><item><title><![CDATA[读书笔记：Deep Learning [Ada-Computation&ML series]--chapter7.Regularization]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/52955076</link><guid>https://blog.youkuaiyun.com/lebula/article/details/52955076</guid><author>lebula</author><pubDate>Fri, 28 Oct 2016 12:04:32 +0800</pubDate><description><![CDATA[part0.概述
1.正则化的作用：降低泛化误差而不是训练误差。
2.形式：
1）约束或者惩罚，被设计用来编码某些先验知识。
2）对简单模型表达一种通用的选择
3）其他形式的，比如ensemble，结合对于数据的多种解释。
3.一般来说，大多数是针对estimator做正则。通过增加偏差来降低方差。


part1.参数范式惩罚
1.一般只对放射变换的weight做惩罚，而不去]]></description><category></category></item><item><title><![CDATA[读书笔记：Deep Learning [Ada-Computation&ML series]--chapter13.Linear factor model]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/52928843</link><guid>https://blog.youkuaiyun.com/lebula/article/details/52928843</guid><author>lebula</author><pubDate>Tue, 25 Oct 2016 23:23:47 +0800</pubDate><description><![CDATA[part0.ICA vs PCA



1.相同：
1）都是要找是的一个n维的w，使得sum(wi*xi)的某种特征最大。
2.PCA

1)假设源信号间彼此非相关。（根据相关的定义，仅指的是线性相关）
2）主元之间彼此正交，样本呈高斯分布

3）认为最有用的信号体包含在方差里。因此要找到一个方向是的在该方向的投影的方差最大。然后在于第一个最大方差方向正交的方向里面找最大。这]]></description><category></category></item><item><title><![CDATA[读书笔记：Deep Learning [Ada-Computation&ML series]--chapter 14.Autoencoder]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/52883608</link><guid>https://blog.youkuaiyun.com/lebula/article/details/52883608</guid><author>lebula</author><pubDate>Fri, 21 Oct 2016 15:19:31 +0800</pubDate><description><![CDATA[part0.概述
1.公式：g( f(x) ) = x.
2.用途：降低维度，比同等维度的PCA的效果好；信息检索（图片或文字的），通过语意哈希


part1.欠完备autoencoder
1.定义：编码维度小于输入维度，迫使autoencoder去学习那些最显著的特征。
学习过程: 最小化损失函数 L(x, g(f(x)) )
2.与PCA的关系：如果decoder是线性的，L]]></description><category></category></item><item><title><![CDATA[读书笔记：C++ primer 5th edition--chapter19.特殊工具与技术]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/52865285</link><guid>https://blog.youkuaiyun.com/lebula/article/details/52865285</guid><author>lebula</author><pubDate>Thu, 20 Oct 2016 00:18:45 +0800</pubDate><description><![CDATA[以下是c++未被广泛应用的特征。
part1.控制内存分配
1.可以重载new与delete。一共有八个版本，可以重载任意一个，但是要求自定义版本必须位于全局作用域或者类作用域。
2.demo
void *operator new(size_t size){
     if (void * mem = malloc(size)
          return mem;
     e]]></description><category></category></item><item><title><![CDATA[本年度笔记清单]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/52856398</link><guid>https://blog.youkuaiyun.com/lebula/article/details/52856398</guid><author>lebula</author><pubDate>Wed, 19 Oct 2016 09:27:56 +0800</pubDate><description><![CDATA[DL菜鸟，看了一些书，却是看完就忘，好记性不如烂笔头，因此回过头去补以前的笔记。
本年度笔记To-do-list:（按顺序,绿色表示正在做或者已经做完）：C++ Primer，Deep Learning(Bengio)，Effective C++，机器学习（周志华）, 凸优化，PRML, 线性代数， inside c++object
 model.]]></description><category></category></item><item><title><![CDATA[读书笔记：C++ primer 5th edition--chapter18.用于大型程序的工具]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/52854574</link><guid>https://blog.youkuaiyun.com/lebula/article/details/52854574</guid><author>lebula</author><pubDate>Wed, 19 Oct 2016 00:12:04 +0800</pubDate><description><![CDATA[part1.异常处理
1.用类去管理资源，而非显式去释放，因为异常发生的时候，析构函数一定会执行，而手动释放的代码可能不会执行。
2.catch(...)会捕获所有异常，因此应该将其置于其他catch的最后。
3.noexcept表示函数不会抛出异常。


part2.命名空间
1.多个库将名字放置在全局命名空间将引命名空间污染。
2.每个命名空间是一个作用域，可以是不连续的。命名]]></description><category></category></item><item><title><![CDATA[读书笔记：Deep Learning[Ada-Computation&ML series]--chapter15.Representation learning]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/52854247</link><guid>https://blog.youkuaiyun.com/lebula/article/details/52854247</guid><author>lebula</author><pubDate>Tue, 18 Oct 2016 23:11:24 +0800</pubDate><description><![CDATA[part0.基本定义
1.好表达的定义：能够使得其后的学习变得容易的表达就是好的表达。所以一般取决于具体的任务。
2.表达学习常见的trade-off:保持更多信息vs更好的特性，比如独立性


part1.无监督预训练
1.它利用了两个idea
1)初始化的参数对于网络学习是一个正则项。
2）无监督阶段学习的信息对于有监督学习有帮助。
但是我们不清楚无监督的学习对于哪一种任务会]]></description><category></category></item><item><title><![CDATA[论文笔记：unsupervised representation learning with deep convolutional generative adversarial networks]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/52847353</link><guid>https://blog.youkuaiyun.com/lebula/article/details/52847353</guid><author>lebula</author><pubDate>Tue, 18 Oct 2016 11:27:20 +0800</pubDate><description><![CDATA[1. previous work [generative adversarial nets]

paper link: http://arxiv.org/pdf/1406.2661v1.pdf 

torch implementation: https://github.com/soumith/dcgan.torch 




a. motivation: supervised]]></description><category></category></item><item><title><![CDATA[论文笔记：Network in Network]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/52847040</link><guid>https://blog.youkuaiyun.com/lebula/article/details/52847040</guid><author>lebula</author><pubDate>Tue, 18 Oct 2016 11:02:35 +0800</pubDate><description><![CDATA[1. Motivation: conv layers use GLM (WX+b) to extract features; the level of abstraction is low (latent features are linearly seperable) ==> use MLP (can approximate any functions, whereas maxout only ]]></description><category></category></item><item><title><![CDATA[读书笔记：C++ primer 5th edition--chapter17.标准库特殊设施]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/52844739</link><guid>https://blog.youkuaiyun.com/lebula/article/details/52844739</guid><author>lebula</author><pubDate>Tue, 18 Oct 2016 01:30:13 +0800</pubDate><description><![CDATA[part1.tuple类型
1.一个tuple可以有任意数量的成员。每个确定tuple类型的成员数目是固定的。是一个快速而随意的数据结构。
2.构造函数是explicit，必须使用直接初始化：
tuple threeD{1, 2, 3};
3.make tuple使用初始值的类型来推断tuple类型。
auto item = make_tuple( “0-999-xxx”,3, 20.0]]></description><category></category></item><item><title><![CDATA[读书笔记：C++ primer 5th edition--chapter16.模板与泛型编程]]></title><link>https://blog.youkuaiyun.com/lebula/article/details/52832190</link><guid>https://blog.youkuaiyun.com/lebula/article/details/52832190</guid><author>lebula</author><pubDate>Sun, 16 Oct 2016 19:01:32 +0800</pubDate><description><![CDATA[part1.定义模板
1.模板是泛型编程的基础
2.一个模板就是一个编译器用来生成特定类类型或函数的蓝图。
3.标准库算法都是函数模板，标准库容器都是类模板。
4.除了定义类型参数，也可以在模板中定义非类型参数，表示一个值，而非类型。
1)我们通过特定的类型名而非关键字class或者typename来指定费类型参数。
template  ...
2)一个非类型参数可以是一个整型，或者]]></description><category></category></item></channel></rss>