y小川的专栏

Recommender Systems for Large-Scale Social Networks: A review of challenges and solutionsPunished in: ELSEVIER, Volume 78, Part 1, January 2018, Pages 413-418Author: Magdalini Eirinaki, Jerry Gao, I...

摘要在本文中给出了最佳直方图单元格宽度的公式，该公式渐近地使积分均方误差最小化。 蒙特卡罗方法用于验证该公式对小样本的有效性。提出了一种基于数据的选择箱宽参数的程序，该程序采用高斯参考标准，并且仅需要样本大小和标准偏差的估计值。使用几种违反高斯假设的概率模型研究了该过程的敏感性。关键词：频率分布 直方图 非参数密度估计 最佳箱宽1. 全文简介直方图是经典的非参数密度估计量可以追溯到1...

概述这一讲分为三个部分：首先是直方图——如何构造直方图及其属性；接下来是核密度估计——它是直方图的泛化和改进。 最后是如何选择最合适的核，以便我们提取数据中的所有重要特征。1. 直方图直方图是最简单最常见的一种非参数密度估计器。构建直方图时，我们将数据值的覆盖域划分为相等的子间隔——称为“ bins”。每次当数据值落入特定的子间隔时，将宽度等于binwidth高度为1的块放在其顶部 。在构造...

像素提取

scikit-learn决策苏算法类库介绍

就房屋价格预测，我们引入成本函数，描述拟合效果。由最小方差成本函数，引出最小均方差(LMS)算法。随后又介绍了该算法的两种实现，批梯度下降和随即梯度下降法，并简述其原理。

回顾多变量线性回归和梯度下降

2. 正规方程组上一节的梯度下降是一种最小化成本函数JJ的方法。这一节我们将介绍另一种算法也可以实现该功能且不需要使用迭代。正规方程组通过计算成本函数对每个θj\theta_j的偏导数，求出偏导为零的点来成本函数的最小值。为了不必写大量的代数式和矩阵导数，让我们约定一些矩阵计算的符号。2.1 矩阵导数对于一个函数f:Rm×n→Rf: \Bbb{R}^{m \times n} \to \Bbb{R}，

感知器学习算法

1. 间隔的直观理解2. 标记符3. 函数间隔和物理间隔

支持向量机之最优间隔分类器

前言：监督式学习 第一部分 线性回归最小均方差算法(LMS algorithm)正规方程组 2.1. 矩阵导数 2.2. 最小方差回顾用概率论原理阐述最小均方差局部权重线性回归第二部分 分类和逻辑回归逻辑回归引申：感知机学习模型最大化对数似然函数——牛顿方法第三部分 广义线性模型指数族函数构造广义线性模型(GLM) 2.1. 普通均方差 2.2. 逻辑回归 2

原始问题由上图可知，感知机模型优化是每次迭代发现误分类点后通过学习率对权值ωω\omega和b的更新。而感知机对偶问题则将ωω\omega的更新替换为αi,i=1,2,…,Nαi,i=1,2,…,N\alpha_i, i=1,2,\dots, N的更新，计算每个误分类点出现的次数。误分类条件yi(∑Nj=1αjyjxjxi+b)≤0yi(∑j=1Nαjyjxjxi+b)≤0y_...

1. 协方差矩阵X,YX,YX,Y是两个随机变量，X,YX,YX,Y的协方差Cov(X,Y)Cov(X,Y)Cov(X,Y)定义为：cov(X,Y)=E[(X−μx)(Y−μy)]cov(X,Y) = E[(X-\mu_x)(Y-\mu_y)]cov(X,Y)=E[(X−μx​)(Y−μy​)]其中：E(X)=μx，E(Y)=μyE(X)=\mu_x，E(Y)=\mu_yE(X)=...

反向传播算法梯度计算公式定义：一个网络整体代价函数为J(W,b)J(W,b)J(W,b)，第(l)(l)(l)层的参数为W(l)W^{(l)}W(l)和b(b)b^{(b)}b(b)；每一层的线性变换为z(l)=W(l)x(l)+b(l)z^{(l)}=W^{(l)}x^{(l)}+b^{(l)}z(l)=W(l)x(l)+b(l)，输出为a(l)=f(z(l))a^{(l)}=f(z^{(l)...

随机梯度下降随机梯度下降法每次采样单个样本来估计当前的梯度，即：gt=∇θt−1f(θt−1)Δθt=−ηgt\begin{aligned}g_{t} &=\nabla_{\theta_{t-1}}f(\theta_{t-1}) \\\Delta \theta_{t} &= -\eta g_t\end{aligned}gt​Δθt​​=∇θt−1​​f(θt−1​)=...

描述一种相比梯度下降更快的迭代收敛算法——牛顿方法

这一章进入了，模型选择这一问题。我们先引入交叉验证法，来评估模型的泛化误差。接着我们开始模型选择的特殊问题——特征选择，提出了前向搜索、后向搜索和过滤器特征选择三种特征选择算法。

由二项分类，引入新的假设函数——逻辑函数(也叫sigmoid函数)，分析该函数的性质。并求以该函数为假设函数下的对数似然函数。求解极大似然估计后，用梯度上升法得出更新方法。

由拟合问题，突出特征选择的重要性。局部权重线性回归在数据充足的情况下，可缓解特征选择问题。而后详述特征选择的步骤和相关参数。

由误差项服从高斯分布，写出似然函数，通过对数似然函数看出参数的极大似然估计与最小均方差同解。

这一章中，将EM算法进一步推广。为此先讲解了Jensen不等式，再由含有隐参数的分布，符合凸函数条件时可使用EM算法有效解决此类问题。

在这一章中，我们通过密度估计引出混合高斯模型，为了求解混合高斯模型，提出了期望最大化算法，它其实是k-means算法的变型。

偏差与波动均衡，联合边界定理，霍夫丁不等式，经验风险最小化，有限假设集情况

引言：核函数或核方法是将低维度数据映射成高维度特征的高效工具，它不仅帮助我们完成部分线性不可分问题的处理，同时计算的时间复杂度依然保持在低维度（即效率很高）。

引入VC维的概念，随后将一致收敛的条件从有限假设集推广到无限假设集。

1. 将最优间隔分类器的定义转化为拉格朗日方程，通过求偏导得到法向量和截距与拉格朗日乘子的关系；2. 回带至拉格朗日方程中得到原始问题的对偶问题。经检验满足KKT补充条件，此次最优化求解中对偶问题与原始问题同解；3. 在假设拉格朗日乘子已知的情况下，求出分割超平面法向量和截距。将预测得出的模型以内积的形式表示。

引言:顺序最小优化(sequnential minimal optimal)算法由John Platt提出，可以高效地求解SVM的对偶问题。

引言：在去掉了数据必定是线性可分这一条件后，为了实现最优间隔分类，我们引入了L1正规化(ℓ1−regularization\ell_1-regularization)来解决这一问题。正规化后求解出对偶问题和KKT补充条件。

1.1 统计学习1. 统计学习的特点统计学习(statistical learning)是关于计算机基于数据构建概率统计模型并利用模型进行分析与预测的一门学科。统计学习也称为统计机器学习(statistical machine learning)。统计学习的主要特点是： 1. 统计学习以计算机和网络为平台。 2. 统计学习以数据为研究对象，是数据驱动的学科。 3. 统计学习的目的是对数据进行

监督式学习的定义，房屋价格和面积的例子给予直观地描述。机器学习领域的一些专业名词介绍。

分析无标记的非监督式学习问题，引出k-means聚类算法，简述其执行步骤。用一个图例讲解k-means算法的运行过程。通过损失函数分析，该算法运行一定会收敛，但有陷入局部最优的风险。

介绍了在线学习的算法，以感知器模型举例。在线学习中我们关心预测错误的总数，并由Novikoff定理可推得感知器模型错误数的上界。

介绍拉格朗日对偶中的原始问题、对偶问题以及原始问题与对偶问题的关系