gengli2017的博客

俯视机器学习 第9章 神经网络1. 简介模型术语：神经元输入（训练数据）输出激活函数损失函数（交叉熵、平方误差）权重（训练参数）优化术语：优化方法（优化器）：梯度下降法学习步长训练术语：batch sizeiterationepoch模型特点：多个局部最小值直观理解为什么 work。2. 矩阵求导逐元素函数：如果 σ(X)\sigma(X)σ(X) 是一个逐元素函数，则dσ(X)=σ′(X)⊙dX{\rm d}\sigma(X) = \sig...

俯视机器学习 第8章 Logistic回归(Logistic Regression)1. Logistic 函数f(x)=11+e−xf(x) = \frac{1}{1+e^{-x}}f(x)=1+e−x1​2. Logistic回归考虑二分类任务，对给定的样本 xxx，输出类别 f(x)∈0,1f(x)\in {0,1}f(x)∈0,1，构造函数f(x)=11+e−(wTx+b)f(x) = \frac{1}{1+e^{-(w^Tx + b)}}f(x)=1+e−(wTx+b...

俯视机器学习 第7章 梯度下降法和牛顿法1. 迭代法框架算法1：广义下降法给定起始点 x∈domfx\in {\rm dom} fx∈domf循环选择下降方向 Δx\Delta xΔx.确定搜索步长 t>0t\gt 0t>0.更新. x:=x+tΔxx := x+t\Delta xx:=x+tΔx直到满足结束条件2. 精确线搜索目的：确定 ttt。取t′=argmint≥0f(x+tΔx)(1)t' = \mathop{\rm argmin}\limi...

俯视机器学习 第6章 线性回归生活中充满了各种预测，比如输入踩油门的力，输出车的速度。输入学习的时间，输出考试分数。输入硫和碳的函数，输出铁的硬度。1. 基本形式对一个样本，有 ddd 个属性， x=[x1;⋯ ;xd]x=[x_1; \cdots; x_d]x=[x1​;⋯;xd​]，函数f(x)=w1x1+⋯+wdxd+bf(x) = w_1 x_1 + \cdots + w_d x_d + bf(x)=w1​x1​+⋯+wd​xd​+b写成向量形式f(x)=wTx+bf(x...

俯视机器学习 第5章 随机森林1 随机森林简介随机森林是一种集成算法。集成算法有很多种形式，本章介绍一种常见的算法——随机森林。其实随机森林想法上很简单，它就是将多个学习器（如决策树）进行组合，然后采用投票法进行分类或回归。例如对一个 3 分类问题，类别记为 y∈{0,1,2}y\in \{0,1,2\}y∈{0,1,2}，训练 100 棵决策树。要判断样本 xxx 属于哪个类，就让这 100 棵树分别预测，结果预测 xxx 属于 {0,1,2}\{0,1,2\}{0,1,2} 类的树的数目...

俯视机器学习 第4章 决策树1. 概述通过多次判断，建立树形结构。问题：每次判断中选择什么属性？基本术语：纯度2. 基尼系数、熵、信息增益基尼值：某事件有 KKK 种取值，每种取值概率为 pi,i=1,...,Kp_i, i=1,...,Kpi​,i=1,...,K 。则其基尼值（基尼不纯度）为G(p)=∑i=1Kpi(1−pi)=1−∑i=1Kpi2G(p) = \sum_{i=1}^K p_i (1- p_i) = 1 - \sum_{i=1}^K p_i^2...

俯视机器学习 第3章 聚类1. 概述物以类聚，人以群分。聚类就是把相似的样本聚在一起。把样本 D={xi}i=1mD = \{x_i\}_{i=1}^mD={xi​}i=1m​ 进行划分， 划分记为 C={C1,⋯ ,CK}C = \{C_1, \cdots, C_K\}C={C1​,⋯,CK​} ，每个子集合内样本具有相似性。相似性（距离）指标：对两个样本 x,y∈Rnx, y\in R^nx,y∈Rn ，其距离 ddd 为：lpl_plp​ 范数：d(x,y)=(∑i=0n∣xi...

俯视机器学习 第2章 最近邻算法1. 常见术语训练集测试集验证集2. 算法原理最近邻算法（KNN，K-Nearest Neighbors）数据：给定样本集 D={xi,yi}i=1mD = \{x_i, y_i \}_{i=1}^mD={xi​,yi​}i=1m​ ，yiy_iyi​ 属于特定的类别。目的：要确定某个新样本 xxx 的类别。算法思想： xxx 类别为 xxx 的最近的 KKK 个邻居中类别最多的点。如果有两类及以上邻居数相同，随机选择一个类。算法流程：输...

俯视机器学习 第1章 数学基础和机器学习问题1. 向量及矩阵本课程讨论的向量默认都是列向量。向量和矩阵都只讨论实数情况。1.1 向量内积对向量 x,y∈Rnx,y\in R^nx,y∈Rn，其内积<x,y>=xTy=∑i=1nxiyi<x,y>=x^Ty = \sum_{i=1}^n x_i y_i<x,y>=xTy=i=1∑n​xi​yi​内积满足交换律，即 xTy=yTxx^T y = y^T xxTy=yTx .1.2 矩阵的迹对方阵 ...