David's Tweet

参考：《Bayesian Linear Regression》符号 小写非粗体的 表示标量，小写粗体表示向量，大写粗体 表示矩阵。本文将将概率密度函数称为分布。import ...

参考：《回字的四种写法——从线性回归到贝叶斯线性回归》《贝叶斯线性回归(Bayesian Linear Regression)》《透彻理解协方差矩阵》本文顺序一、回忆线性回归 线性回归用最小二乘法，转换为极大似然估计求解参数W，但这很容易导致过拟合，由此引入了带正则化的最小二乘法（可证明等价于最大后验概率）二、什么是贝叶斯回归？ ...

参考：《Support Vector Machines for Beginners – Linear SVM》《支持向量机通俗导论（理解SVM的三层境界）》（在线PDF）《图解机器学习》（[日]杉木将 著）一、SVM入门1.1 什么是支持向量机 ...

References/Acknowledgements•Chris Bishop’s book:Pattern Recognition and MachineLearning, chapter 11 (many figures are borrowed from this book).•David MacKay’s book:Information Theory, Inference, andLearning Algorithms, chapters 29-32.•Radford Neals..

参考博客《机器学习之线性回归——基于Scikit-Learn》《Scikit-Learn学习笔记——线性回归（基函数回归、岭回归正则化、Lasso正则化）》《基于高斯核函数的简单线性回归实现》《线性回归于逻辑回归的区别》《机器学习实战之训练模型-多项式回归（一）》一、回归介绍回归(Regression)算法通过建立变量之间的回归模型，通过学习(训练)过程得到变量与因变量之间的相关关系。回归(Regression)分析可以用于预测模型或分类模型，当只有因变量及一个自变量时..

这一篇，我们将对sklearn中有关特征提取，常用模型进行讲解。主要内容包括：1.PCA算法2.LDA算法3.线性回归4.逻辑回归5.朴素贝叶斯6.决策树7.SVM8.神经网络9.KNN算法是不是感觉干货满满啊！Let's get moving!!!特征提取我们获取的数据中很多数据往往有很多维度，但并不是所有的维度都是有用的，有意义的，所以我们要将对结果影响较小的维度舍去，保留对结果影响较大的维度。PCA（主成分分析）与LDA（线性评价分析）是特征提取的两种经典算法。PCA与

必要的数学知识1.联合概率与边缘概率联合概率是指多维随机变量中同时满足多个变量时候的概率，也就是共同发生的概率。A,B的联合概率通常写成P(A∩B)或P(AB)或P(AB)。对于离散的变量，联合概率可以用表格形式表示或者求和表示，连续的变量可以使用积分表示（若是二维就一个二重积分）边缘概率是指多维随机变量中只满足部分变量时的概率。图片帮助理解：联合概率与边缘概率的关系...

传统机器学习框架Auto-sklearn automated machine learning on top of scikit-learn, inspired by auto-weka Auto-Weka automated machine learning on top of Weka auto_ml deprecated? AutoML toolbox da...

相同问题见：https://stackoverflow.com/questions/52800025/keras-give-input-to-intermediate-layer-and-get-final-output（《Keras give input to intermediate layer and get final output》）方法一：model.layers[idx]比如...

参考文献：1.https://blog.youkuaiyun.com/baimafujinji/article/details/513742022.https://blog.youkuaiyun.com/yt71656/article/details/425858733.https://www.jiqizhixin.com/articles/2018-01-09-64.ht...

抽样、样本数据 -->观察数据趋势 -->选择模型 -->模型参数估计-->假设检验类别 名称 核心函数 求解目标 点估计 最小二乘法 模型参数的误差平方和函数 求偏导数，使误差平方和最小 点估计 最大似然法 似然函数→平均对数似然函数 求偏导数，使似然函数最大，即样本出现的概率达到最大 点估计 ...

一、前世MNIST data filesMNIST数据集是一个手写数字数据集，每一张图片都是0到9中的单个数字，比如下面几个:MNIST数据库的来源是两个数据库的混合,一个来自Census Bureau employees(SD-3),一个来自high-school students(SD-1)；有训练样本60000个，测试样本10000个。训练样本和测试样本中，employee...

一、常规线性回归及其求解方法核心提炼1、普通最小二乘法（OLS）的解析解可以用 Gaussian 分布以及极大似然估计解释；2、Ridge 回归可以用 Gaussian 分布和最大后验估计解释 ；3、LASSO 回归可以用 Laplace 分布和最大后验估计解释。二、贝叶斯线性回归定义贝叶斯线性回归（Bayesian linear r...

高斯过程高斯过程回归高斯过程回归的应用步骤1、选取合适的核函数，并计算核矩阵；2、将核矩阵作为联合高斯分布的协方差矩阵，与历史数据联合计算条件概率分布；3、由条件概率分布做线性回归预测。文章列表1、说说高斯过程回归https://blog.youkuaiyun.com/greenapple_shan/article/details/52402051#commentBo...

% METROPOLIS SAMPLING EXAMPLErandn('seed',12345); % DEFINE THE TARGET DISTRIBUTIONp = inline('(1 + x.^2).^-1','x'); % 定义目标分布 % SOME CONSTANTSnSamples = 5000; % 抽取5000个样本burnIn = 500;nD...

马尔可夫链蒙特卡罗（Markov Chain Monte Carlo ，MCMC ）方法主要算法有：Metropolis-Hastings （MH）算法、Metropolis采样算法，以及吉布斯采样方法，后两者都可以看作是MH算法的特例。Metropolis-Hastings （MH）算法步骤：Metropolis采样算法步骤和MH算法一样，只是利用的提议分布是...

1、粒子滤波算法粒子滤波是一种贝叶斯次优估计算法，它摆脱了解决非线性滤波问题时随机量必须 满足高斯分布的制约条件，并在一定程度上解决了粒子样本匮乏问题，因此，近年来该算法在许多领域得到成功应用。 但是，粒子滤波中的粒子退化问题严重地限制了其基本方法 的发展。粒子滤波详见《Particle Filter Tutorial 粒子滤波：从推导到应用（一 二 三 四）》。贝叶斯估计2、M...

一、递归贝叶斯滤波=预测+更新（1）预测：（2）更新：二、粒子滤波流程概括引自：《CONDENSATION—Conditional Density Propagation for Visual Tracking》三、目标跟踪中的粒子滤波a. 简介b. 运动模型（动态方程）c. 观测模型（观测方程）...

简介该算法是《基于粒子滤波器与马尔科夫随机场的实时多目标跟踪算法》，具有线性的算法复杂度，能够避免目标间的ID交换错误。马尔科夫随机场（Markov Random Field，MRF）是计算机视觉、图像处理等研究的重要工具。它在图像处理中的应用广泛。它不仅可处理底层视觉（图像分割、边缘检测），还可用于中高层视觉处理（多目标跟踪、场景分析和理解）。在本文中，沈乐君试图用最简单直观的方式来讲解...

全部定义边际似然marginal likelihood (ML)边际似然计算算法实例《Marginal likelihood calculation with MCMC methods》参考Haasteren R V . Marginal Likelihood Calculation with MCMC Methods[M]// Gravitati...

       （1）高斯核模型                         其中为样本。可以看出，核模型的均值是以的元素进行计算的。（2）随机梯度下降法（3）python 代码实现import numpy as npimport matplotlib.pyplot as pltimport mathn=50N=1000x=np.linspace(-3...