jason的专栏

这里是原文 我热爱用一种新的方式去思考世界。我尤其热爱当有一些模糊的想法形式化成某些具体的概念。信息论就是一个非常好的例子。 信息论给了我们一个具体的语言来描述很多事情，我是多么的善变？知道问题A的答案对于知道问题B的答案有什么帮助？一些想法和另一些想法有多么的相似？当我还是小孩的时候，我就有一些粗略的想法，但是信息论把这些问题抽象成具体的，强大的概念。不管是从数据压缩，量子物理还是机器学习，以

上一遍博文总结了文章的引言部分，这第二篇，总结一下离散无噪声系统的五个要点，分别是离散无噪声信道、离散信息源、英语的序列近似、马尔科夫过程的图形表示、遍历性和混合源。

香浓的《A mathmatical theory of communication》奠定了香浓在信息科学的鼻祖地位，甚至从人类发展史上看，使得香浓成为并驾于牛顿的跨越式人物。以上是网络中对它这篇文章的评述。因此作为一个通信的学生，真的有必要仔细研究一下它的这篇文章，所以有了这个阅读笔记系列。这个系列文章将以顺序阅读方式，总结阅读部分文章，或提出或解决的问题进行记录。文章引言部分解决一下问题为什么

利用差不多大半天时间，看了一下2015年science上的这篇关于机器学习的综述。在这里对文章作一个小结。

BP算法又叫反向传播算法。听起来好像很玄乎。但其实本质上很简单，它就相当于是一个复合函数链式求导法则。那么为什么它会这么有名气呢？应用BP算法比传统上naive的思考方法会加速神经网络的计算上千万倍。为什么会出现这样的加速呢？如前述体现在求导数上面，因为现代神经网络的计算大多数都是应用求导数的方法，而且大规模的神经网络节点成千上万，这样的话在针对cost函数进行优化的过程中需要大量对输入参数的求导

https://xtydtc.shinyapps.io/clusterplatform/

这是14年发在science上的一篇关于聚类的文章。从做毕设接触过的几个方法来看，这个方法效果很好。有很大的普适性。作者Alex Rodriguez and Alessandro Laio，来自SISSA（意大利国际高等研究院）。这篇文章简洁有效的介绍了文章中算法的三大创新点，并且通过多个例子证明了算法的能力。创新1，文章给出了对于聚类中心很好的抽象，文章认为聚类中心应该有以下特点。一方面拥有局部

主要copy自新浪微博MachineLearner的博客希望作为自己学习机器学习的工具。矩阵求导好像从来没有学过，讲矩阵的课不讲求导，讲求导的课不讲矩阵。像维基百科什么的查找起来又费劲。其实在实际机器学习工作中，最常用的就是实值函数yy对向量x\bf x求导。定义如下： ∂y∂x=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢∂y∂x1∂y∂x2⋮∂y∂xn⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥\frac{\partial y

翻译自 Kalman R E. A New Approach to Linear Filtering and Prediction Problems[J]. 1960, 82D:35-45.随机过程基本概念 为了读者的方便，我们在这里复习一些概率和随机过程的基本的定义和规律。我的目的是尽可能简洁的描述。所以想要有更大的深度或者广度，请阅读Laning and Battin或者Doob的书。一个随

由于做毕设的需要所以详细阅读了这篇文章，感觉还是蛮有收获的，所以在这里做一个小的总结。这篇文章提出了2种用于解决导航传感器测量数据异常值检测和剔除的方法。首先文章介绍了传统处理异常值的方法，即4西格玛原则（误差大于4倍标准差的数据剔除掉）。但是不同传感器情况不一样。所以这样一刀切（4）的阈值去除方法并不是很合适。因为误差分布并不是都满足正态分布的。对于正态分布3倍西格玛以内的数据可以做

在毕业设计中要做一个异常值剔除的步骤。所以看了一篇paper，Detection of Outliers in Navigation Sensor Measurements文中有提到 For a Gaussian statistics, large residuals are exponentially rare, and outliers are not an issue. Unfortuna

共轭先验：http://lesswrong.com/lw/5sn/the_joys_of_conjugate_priors/贝叶斯估计：http://www.math.zju.edu.cn/webpagenew/UploadFiles/AttachFiles/2010421221717128.pdf

定义：由连续的随机移动组成的路径，在数学上称为随机游走。马尔可夫链是随机游走中比较有代表性的一种。它是一个具有马尔科夫特性的随机过程，也就是说，无记忆性，即下一步移动只和当前状态有关，和历史状态或者移动无关。每个移动又被称之为转移。所有状态组成状态空间。不可约：一个马尔可夫链如果是一个单独的通信类，或者说从任何状态都有可能到达另一个状态，那么称该马尔可夫链为不可约的。周期性：k=gcd{n>0

Posterior probabilityThe posterior probability is the probability of parameters θ\theta given the evidence X:P(θ|X)X: P(\theta|X).It contrasts with the likelihood function, which is the probability o