<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[dfj77477的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/dfj77477</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; dfj77477]]></copyright><item><title><![CDATA[验证resneXt，densenet，mobilenet和SENet的特色结构]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636886</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636886</guid><author>dfj77477</author><pubDate>Sat, 23 Mar 2019 19:54:00 +0800</pubDate><description><![CDATA[简介
图像分类对网络结构的要求，一个是精度，另一个是速度。这两个需求推动了网络结构的发展。

resneXt：分组卷积，降低了网络参数个数。
densenet：密集的跳连接。
mobilenet：标准卷积分解成深度卷积和逐点卷积，即深度分离卷积。
SENet：注意力机制。

简单起见，使用了[1]的代码，注释掉 layer4，作为基本框架resnet14。然后改变局部结构，验证分类效果。...]]></description><category></category></item><item><title><![CDATA[比较语义分割的几种结构：FCN，UNET，SegNet，PSPNet和Deeplab]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636885</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636885</guid><author>dfj77477</author><pubDate>Sun, 10 Mar 2019 17:26:00 +0800</pubDate><description><![CDATA[简介
语义分割：给图像的每个像素点标注类别。通常认为这个类别与邻近像素类别有关，同时也和这个像素点归属的整体类别有关。利用图像分类的网络结构,可以利用不同层次的特征向量来满足判定需求。现有算法的主要区别是如何提高这些向量的分辨率，以及如何组合这些向量。
几种结构

全卷积网络FCN：上采样提高分割精度，不同特征向量相加。[3]
UNET：拼接特征向量；编码-解码结构；采用弹性形变的方式，...]]></description><category></category></item><item><title><![CDATA[比较 VGG, resnet和inception的图像分类效果]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636882</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636882</guid><author>dfj77477</author><pubDate>Sun, 24 Feb 2019 20:58:00 +0800</pubDate><description><![CDATA[简介
VGG, resnet和inception是3种典型的卷积神经网络结构。

VGG采用了3*3的卷积核，逐步扩大通道数量
resnet中，每两层卷积增加一个旁路
inception实现了卷积核的并联，然后把各自通道拼接到一起

简单起见，直接使用了[1]的代码来测试 resnet，然后用[2],[4]的代码替换[1]中的model，改了改通道，测 VGG 和 inception。
...]]></description><category></category></item><item><title><![CDATA[强化学习基础]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636881</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636881</guid><author>dfj77477</author><pubDate>Mon, 17 Sep 2018 02:34:00 +0800</pubDate><description><![CDATA[强化学习
基本概念
强化学习需要学习一个从环境状态到智能体行动的映射，称为智能体的一个策略，使得环境回报最大化。
智能体-&gt;环境: 状态?
环境--&gt;智能体: 观察结果
Note left of 智能体: 行动=策略(观察结果)
智能体-&gt;环境: 行动
Note right of 环境: 进入下一个状态
环境--&gt;智能体: 回报
Note left of 智能体:...]]></description><category></category></item><item><title><![CDATA[深度学习的知识点]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636878</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636878</guid><author>dfj77477</author><pubDate>Sun, 29 Jul 2018 12:26:00 +0800</pubDate><description><![CDATA[前馈网络
定义
神经网络：$&lt;V,E,\sigma,w&gt;, E\subseteq V\times V,w:V\times V\to R, \sigma:V\times R\to R $，
输出函数$f(v)$递归定义为$$\begin{aligned}f(v)&amp;=x(v)&amp;,if\,\nexists u,&lt;v,u&gt;\in E\\ f(v)&a...]]></description><category></category></item><item><title><![CDATA[卷积神经网络CNN]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636874</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636874</guid><author>dfj77477</author><pubDate>Sun, 22 Jul 2018 13:12:00 +0800</pubDate><description><![CDATA[基本概念

卷积运算

定义：$f(i,j,k)=\sum_{m,n}g(i-m,j-n,k)h(m,n),y(i,j)=\sum_kw_{k}f(i,j,k)$

平移不变、深度线性叠加。特别在1*1核的时候，为深度的线性变换。


稀疏交互(sparse interactions)：核的大小（m,n的范围）远小于输入的大小（j,i的范围）。
参数共享(parame...]]></description><category></category></item><item><title><![CDATA[信息论的知识点]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636872</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636872</guid><author>dfj77477</author><pubDate>Mon, 29 Jan 2018 15:58:00 +0800</pubDate><description><![CDATA[要点

熵：$H(X)=E_{X\sim P}[I(X)]=-E_{X\sim P}[\log P(x)]$
相对熵：$D_{p||g}=E[\log\frac{p(x)}{g(x)}]\geqslant 0$。
互信息：$I(X;Y)=\sum_{x,y} P(x,y) \log \frac {P(x,y)}{P(x)P(y)}=H(X)-H(X|Y)=H(Y)-H(Y|X)$...]]></description><category></category></item><item><title><![CDATA[理论机器学习]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636870</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636870</guid><author>dfj77477</author><pubDate>Thu, 25 Jan 2018 19:25:00 +0800</pubDate><description><![CDATA[简介
可学习理论针对于监督学习，从问题空间$X\times Y$中采样，输出一个预测函数$h:X\to Y$，来判定X与Y之间的对应关系。
主要难点在于：

采样空间S需要多大，太大则不现实，太小则不能达到足够的精度；如果问题有着强烈的结构，那么小的样本空间是可能的。
预测函数h的精确度，太低不能满足要求，太高则有可能不能有效覆盖整个问题空间，也就是欠拟合和过拟合。另外不同领域...]]></description><category></category></item><item><title><![CDATA[计算理论基础]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636880</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636880</guid><author>dfj77477</author><pubDate>Thu, 28 Dec 2017 10:47:00 +0800</pubDate><description><![CDATA[内容

形式语言与自动机：正则语言、上下文无关语言、图灵机
可计算性：可判定、可归约
计算复杂性：时间、空间、难解性

正则语言
确定有穷自动机DFA：$M=&lt;Q,\Sigma,\delta,q_0,F&gt;,\delta:Q\times\Sigma\rightarrow Q$

M 接受字符串：$w=w_1...w_n,\exists q_0...q_n,\d...]]></description><category></category></item><item><title><![CDATA[概率图基础]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636868</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636868</guid><author>dfj77477</author><pubDate>Fri, 22 Dec 2017 14:11:00 +0800</pubDate><description><![CDATA[概率图模型分类

有向图：静态贝叶斯、动态贝叶斯（隐马尔可夫模型）
无向图：马尔可夫网络（条件随机场、玻尔兹曼机）

隐马尔可夫模型
评估问题
$HMM&lt;S,O,\Theta&gt;, \Theta=&lt;\pi ,A, B&gt;$
隐藏状态S，观测状态O，初始状态的概率分布$\pi$，隐藏状态转移概率A，观测状态转移概率B
计算观测序列概率

$p(O|...]]></description><category></category></item><item><title><![CDATA[应用泛函分析的知识点]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636948</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636948</guid><author>dfj77477</author><pubDate>Thu, 21 Dec 2017 10:00:00 +0800</pubDate><description><![CDATA[度量空间
线性空间实例：向量空间$K^n$、p方可和数列空间$l^p$、p幂可积函数空间$L^p(E)$、连续函数空间$C[a,b]$、k阶连续导数函数空间$C^k[a,b]$、矩阵空间$M_{mn}$
度量空间=定义了距离的集合。

Holder不等式$\Rightarrow$柯西不等式$\Rightarrow$向量空间的距离
Minkowski不等式$\Rightarrow...]]></description><category></category></item><item><title><![CDATA[抽象代数]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636945</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636945</guid><author>dfj77477</author><pubDate>Fri, 15 Dec 2017 16:18:00 +0800</pubDate><description><![CDATA[群

（非空集合G, 运算*）
半群：*满足结合律、分配律
群：具有单位元、逆元
阿贝尔群：*有交换律
循环群G：$\exists a\in G, G ＝\{a^0, a, a^2, …, a^{n-1}\}$。循环群是阿贝尔群。
子群H：$a,b \in H \Rightarrow a*b^{-1} \in H$
陪集：aH，两两不相交
正规子群：aH=Ha。记为$G...]]></description><category></category></item><item><title><![CDATA[信号与系统]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636946</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636946</guid><author>dfj77477</author><pubDate>Wed, 13 Dec 2017 14:50:00 +0800</pubDate><description><![CDATA[引言
信号与系统是在多个应用领域中出现的概念，虽然其物理本质不同，但是都具有两个基本特征。信号是一个依赖于一个或多个独立变量的函数，包含着一些现象本质或行为的信息；而系统是一个关于信号的函数，对于特定的信号，会产生其它信号或一些期望的行为。信号与系统理论提供了一种基础的数学模型，可以对各种领域的信号与系统进行统一的描述和分析。信号的定义，性质和运算与其数学域有关；而系统的定义和性质则是...]]></description><category></category></item><item><title><![CDATA[数值分析基础]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636944</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636944</guid><author>dfj77477</author><pubDate>Tue, 12 Dec 2017 10:40:00 +0800</pubDate><description><![CDATA[基本概念
如果$|x-x_A|\leqslant 0.5\times 10^{k-n}$，k为指数，则称xA为x的n位有效数字近似值。

准确性：误差分析，输入数据误差，舍入误差和截断误差。
稳定性：条件数分析，输出误差除以输入误差，包括问题本身（病态）和算法过程的稳定性。
收敛性：范数分析，向量范数，矩阵范数，柯西不等式。

数据插值

Lagrange, 直接利...]]></description><category></category></item><item><title><![CDATA[线性方程组的迭代解法]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636943</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636943</guid><author>dfj77477</author><pubDate>Fri, 08 Dec 2017 14:19:00 +0800</pubDate><description><![CDATA[简介

求解线性方程组有直接解法和迭代解法两种方法。与直接解法相比，迭代解法能够比较好地保持系数矩阵的稀疏性，在大型线性方程组的求解问题中得到了广泛应用。
比较典型的迭代算法有三种，古典迭代法、共轭梯度法和广义极小剩余(GMRES)法。

古典迭代法从系数矩阵构造（分裂）出单步迭代格式，具有算法简单的优点，但是不易收敛，速度较慢。
共轭梯度法是一种多步算法。首先利用对称正...]]></description><category></category></item><item><title><![CDATA[求解矩阵特征值]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636941</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636941</guid><author>dfj77477</author><pubDate>Thu, 07 Dec 2017 13:48:00 +0800</pubDate><description><![CDATA[特征值的条件数

Weilandt-Hoffman定理：设A与B是两个n阶正规矩阵，它们的特征值分别是li和mj，则存在一个排列p(n)，使得
$\sqrt {\sum_i \left | \pi(i)-\lambda_i \right |^2}\leqslant \left \| B-A \right \|_F$
Weilandt-Hoffman定理表明Hermite矩阵...]]></description><category></category></item><item><title><![CDATA[深度学习的数学基础]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636942</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636942</guid><author>dfj77477</author><pubDate>Fri, 17 Nov 2017 21:13:00 +0800</pubDate><description><![CDATA[线性代数
基本变量：标量、向量、矩阵、张量
基本运算：乘法、加法、逆运算；线性变换的几何意义
范数
特征分解：$A=V*diag(\lambda)*V^{-1}$
奇异值分解：$A=Q*diag(\Sigma)*V$
伪逆：$A^+=V^T*diag(\Sigma^{-1})*Q^T$
迹运算：$tr(A)=\sum_{i}^{ }A_{ii}$；$tr(ABC)=tr(B...]]></description><category></category></item><item><title><![CDATA[强连通分支——自制算法和经典算法的比较分析]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636939</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636939</guid><author>dfj77477</author><pubDate>Thu, 01 Dec 2016 12:54:00 +0800</pubDate><description><![CDATA[简介
有向图G(V,E)，圈是一个起始节点与终止节点相同的路径，即 a-&gt;….-&gt;a。找到所有圈，合并其节点，在图论里就是合并强连通分支。一开始没有找到有效算法，基于深度优先搜索，自制了一个算法。后来找到了一个开源代码【1】，代替了自制算法。本文比较了自制算法和经典算法的区别，总结了经验教训。
无向图的查圈算法
深度优先搜索算法是从已知节点出发，图的一种遍历算法。只要一...]]></description><category></category></item><item><title><![CDATA[单元测试框架的开发流程]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636940</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636940</guid><author>dfj77477</author><pubDate>Fri, 23 Oct 2015 09:19:00 +0800</pubDate><description><![CDATA[简介

单元测试可以更快地发现代码中的错误，因此各个编程语言都拥有了专门的单元测试框架。本文按照一般的开发流程来讨论单元测试框架，即需求分析、设计实现，应用模型等等，希望可以提取单元测试的共性，为理解不同的测试框架提供支持。

需求分析

从单元测试的机制可以发现一部分隐藏需求，总结如下： 

独立测试：针对一个软件单元。
 用例组织：可以选择执行测试。...]]></description><category></category></item><item><title><![CDATA[利用数据类型，简化程序逻辑]]></title><link>https://blog.youkuaiyun.com/dfj77477/article/details/101636938</link><guid>https://blog.youkuaiyun.com/dfj77477/article/details/101636938</guid><author>dfj77477</author><pubDate>Fri, 12 Jun 2015 13:55:00 +0800</pubDate><description><![CDATA[简介
最近对一段遗留代码进行了重构。这段代码看似简单，却花了我很多时间。现在记录下来一些主要的分析过程，以备参考。
主要的功能就是一个映射：string -&gt; [int | double | string]. 接口如下：

get(name, result); // 如果name为预定义的，则得到一个结果
set(name, value); // 如果name为预定义的，...]]></description><category></category></item></channel></rss>