Frog in a well

Introduction年前刚刚完成了一门台大的机器学习基石课程，最后得到了complete with distinction的证书，话说真是有点小惊喜啊，为什么惊喜呢？因为第二次作业做得实在是烂，刚破及格线，这第二章讲的什么呢？为什么机器能够学习，机器学习的理论基础，经过三思，决定好好回顾一下机器学习的理论基础。评价一个机器学习算法的generalization性能的方法就是看它在测试数

简介很多人都玩过一个游戏，通过限定次数的提问猜出对方在纸上写出的一个词，当然对方必须对我们的每一个猜测做出回应，通过一连串正确或者错误的判断，如果最终我们猜出了对方的那个词，那么我们就取得了胜利，决策树的工作原理就和这个游戏类似，看下面一个例子：上面这张图就是一个典型的决策树，我们每天出门前要想一下今天是开车还是走路呢？首先看看窗外，下雨了吗？如果有再看看到底是雪还是雨？哇靠！是雪

接触机器学习领域有一段时间了，跟过不少基础的课程，也看过一些入门的书籍和论文，现在想通过一门公开课系统的进入机器学习的领域，所以选择了advanced Machine Learning，这是哈佛大学的一门高级机器学习公开课，主要教材选用的是kevin Murphy Machine Learning: A Probabilistic Perspective, MIT Press 以及Christ

最近做了不少的kaggle机器学习竞赛，总结出了一个经验：做好了feature enginering可以进到前百分之20，如果要进到前百分之10，那么就需要Ensemble method的支持了，所以最近专门深入了解了以下组合的各种方法。通过学习发现组合方法真的是屡试不爽，在竞赛的后期，黔驴技穷，走投无路之时，不妨试试组合方法，会让人豁然开朗，组合历史提交答案这是最简单的一种组合方法，只需

概率论基本概念离散变量概率论中的两个基本法则：加法法则和乘法法则，加法法则定义了随机变量X与条件变量Y之间的直接联系。乘法法则定义了概率学中最重要的条件概率，同时也可以叫做联合概率，因为它描述了事件X和Y同时发生的概率。通过上面公式可以推到出条件概率公式：进而可以得到著名的贝叶斯公式，贝叶斯公式广泛的应用于科学界，这也被称为后验概率，因为它在咱们知道

本小节阅读：MLAPP：第三章CS229：Naive bayes贝叶斯概念学习我们考虑一个小孩学习一个词的过程，比如“狗”。大概是小孩的父母指出了这个词的一些正例，比如说：“看那条可爱的狗”或者“记住那条小狗”等等。然而，他们是不太可能提供如“看那条不是狗的东西”的负例。当然，负例也可能在动态学习的过程中接触到，比如父母可能纠正小孩的错误：“那是一只猫，不是一条狗。” —

信息论熵如果离散随机变量有P（X）分布，那么x所携带的熵（信息量）：之所以用log2来作为底，是为了方便衡量该信息可以用多少bit来表示。因为1个bit非0即1. 从上公式可以推导出：当k个状态发生的几率一样时，随机变量X所携带的熵越大。正如下图表示的伯努利分布所携带的熵随着概率变化的结果：KL divergenceKL divergence 全称Kullbac

高斯模型这章节主要围绕着多元高斯模型展开，它会是之后咱们看到的很多模型的基础。多元高斯模型多元高斯模型和一元高斯模型很类似，只是均值变为了均值向量，方差变为了协方差，一维衡量距离的norm 2，在高位扩展成为了Mahalanobis 距离(x−μ)TΣ−1(x−μ) 接下来咱们想形象直观的理解高斯模型，首先从多元高斯模型的公式入手推导，由于协方差矩阵是对称的，所以它可以分解

简介线性回归是在统计学以及机器学习中应用最为广泛的模型之一，线性回归常用于预测连续型的随机变量。如果在线性模型中加入核算法或者feature transformation，可以模拟非线性的模型。线性回归线性回归模型可以表示成一下形式：最终的需要预测y的取值，based on 输入向量X，以及系数。通过将输入向量进行变换，可以使线性模型扩展到非线性：里面的函数是bas