yyywxk的博客

多元函数的微分学- 偏导数- 高阶偏导数- 梯度- 雅克比矩阵- Hessian 矩阵- 极值判别法则

最优化- 基本概念- 梯度下降法- 牛顿法- 坐标下降法- 数值优化算法面临的问题- 凸优化问题- 凸集- 凸函数- 凸优化的性质- 凸优化一般的表述形式- 拉格朗日乘数法- 拉格朗日对偶- KKT 条件

概率论- 基本概念- 条件概率和贝叶斯公式- 数学期望和方差- 常用分布- 随机向量- 协方差- 最大似然估计

线性代数高级- 二次型- 特征值和特征向量- 特征值分解- 多元函数的泰勒展开- 矩阵和向量的求导公式- 奇异值分解 (SVD)- 求解奇异值分解- 奇异值分解的性质- SVD 的应用- 数据压缩- PCA 降维- 协调过滤- 矩阵求逆

线性代数基础- 向量- 向量的范数- 特殊向量- 矩阵- 逆矩阵- 行列式

对人工智能数学课高等数学线性微积分数学教程的学习笔记。主要用于快速回忆已学的数学知识点，不适合基础学习。博客园中同步更新。f′(x0)=lim⁡Δx→0f(x0+Δx)−f(x0)Δx{f}'\left ( x_0 \right )= \lim\limits_{\Delta x\rightarrow 0}\frac{f( x_0+\Delta x )-f(x_0)}{\Delta x}f′(x0​)=Δx→0lim​Δxf(x0​+Δx)−f(x0​)​max⁡(0,x)\max(0,x)max(0,x)f

人工智能是应用数学，需要的数学知识包括：微积分主要内容：导数与求导公式，一阶导数与函数的单调性，一元函数极值判定法则，高阶导数，二阶导数与函数的凹凸性，一元导数泰勒展开。主要用微分部分，求函数极值，即机器学习库中的求解器 (solver) 的功能；推荐书籍：高等数学（第七版，同济大学数学系），数学分析新讲(张筑生)知识点：导数与偏导数定义与计算；梯度向量；极值定理，可导函数在极值点处导数或梯度必须为0；雅克比矩阵，向量到向量映射函数的偏导数构成的矩阵，用于求导推导；

本文是对的学习笔记。由于之前的文章《》篇幅过大，导致打开的时候加载缓慢，也不利于阅读，同时由于优快云的限制原文已经不可更改，原文特将其分拆以满足不同读者的阅读需要。各个章节的链接见本文第二部分，每个章节的大纲见本文第三部分。本系列笔记主要用于快速回忆已学的数学知识点，不适合基础学习。

目标：寻找标准分离超平面使得其余量最大，即。超平面 (hyperplanes，被称为支撑向量（可能不唯一）。Remark：对于线性可分的。引入 Lagrange 乘子。，分离超平面有无穷多个。距离的最小值，使得该。

的“平均值”距离最大且“总方差”最小。不存在，MATLAB 求广义逆。投影平均值等于平均值的投影。（代表直线方向）使得。是“事实1”中的向量。被称为核类间扩散矩阵）上的投影平均值为：（☆ 不求特征向量求出。，证明见讲稿最后两页。

基于密度的聚类是指基数最大的密度连通集（即集合内任意两点都是密度连通）。适用数据类型：非凸，又称非凸聚类；K-means 适用于凸数据。是密度吸引子，如果它决定概率密度函数。是基于密度的类，如果存在密度吸引子。既不是核心点又不是边缘点，则称。Remark：DBSCAN 对。过小，稀疏的类可能被认作噪点；时，迭代公式（1）迭代效率低。是用户定义的局部密度，如果。过大，稠密的类可能无法区分。的密度吸引子，如果存在。是用户定义的误差及步长，是直接密度可达，则称。DENCLUE 算法。

Def.1 给定数据集 D={x1,x2,⋯ ,xn},(xi∈Rd)\mathbf{D}=\{ \mathbf{x}_1,\mathbf{x}_2,\cdots,\mathbf{x}_n\},(\mathbf{x}_i\in \mathbb{R}^d)D={x1​,x2​,⋯,xn​},(xi​∈Rd)，D\mathbf{D}D 的一个聚类是指 D\mathbf{D}D 的划分 C={C1,C2,⋯ ,Ck}\mathcal{C}=\{C_1,C_2,\cdots,C_k \}C={C1​,C2​,⋯,C

PCA：主元分析D=(X1X2⋯Xdx1x11x12⋯x1dx2x21x22⋯x2d⋮⋮⋮⋱⋮xnxn1xn2⋯xnd)\mathbf{D}=\left(\begin{array}{c|cccc} & X_{1} & X_{2} & \cdots & X_{d} \\\hline \mathbf{x}_{1} & x_{11} & x_{12} & \cdots & x_{1 d} \\\mathbf{x}_{2} & x_{21} & x_{22} & \cdots & x_{2 d} \\\v

Example 5.1 略，ϕ(核映射):Σ∗(输入空间)→R4(特征空间)\phi(核映射):\Sigma^*(输入空间)\to \mathbb{R}^4(特征空间)ϕ(核映射):Σ∗(输入空间)→R4(特征空间)Def.1. 假设核映射 ϕ:I→F\phi:\mathcal{I}\to \mathcal{F}ϕ:I→F，ϕ\phiϕ 的核函数是指 K:I×I→RK:\mathcal{I}\times\mathcal{I}\to \mathbb{R}K:I×I→R 使得 ∀(xi,xj)∈I×I,K(xi

关注代数、几何与统计观点。仅关注一项属性，D=(Xx1x2⋮xn),xi∈R\mathbf{D}=\left(\begin{array}{c}X \\\hline x_{1} \\x_{2} \\\vdots \\x_{n}\end{array}\right),x_i\in\mathbb{R}D=⎝⎛​Xx1​x2​⋮xn​​​⎠⎞​,xi​∈R统计： XXX 可视为（高维）随机变量，xix_ixi​ 均是恒等随机变量，x1,⋯ ,xnx_1,\cdots,x_nx1​,⋯,xn​ 也看作源于

Def.1. 数据矩阵是指一个 (n×d)(n\times d)(n×d) 的矩阵D=(X1X2⋯Xdx1x11x12⋯x1dx2x21x22⋯x2d⋮⋮⋮⋱⋮xnxn1xn2⋯xnd)\mathbf{D}=\left(\begin{array}{c|cccc} & X_{1} & X_{2} & \cdots & X_{d} \\\hline \mathbf{x}_{1} & x_{11} & x_{12} & \cdots & x_{1 d} \\\mathbf{x}_{2} & x_{21}

由于之前的文章篇幅过大，导致打开的时候加载缓慢，也不利于阅读，同时由于优快云的限制原文已经不可更改，原文特将其分拆以满足不同读者的阅读需要。各个章节的链接见本文第二部分，每个章节的大纲见本文第三部分。（）

数据挖掘与分析课程笔记参考教材：Data Mining and Analysis : MOHAMMED J.ZAKI, WAGNER MEIRA JR.Chapter 1 ：准备1.1 数据矩阵Def.1. 数据矩阵是指一个 (n×d)(n\times d)(n×d) 的矩阵D=(X1X2⋯Xdx1x11x12⋯x1dx2x21x22⋯x2d⋮⋮⋮⋱⋮xnxn1xn2⋯xnd)\mathbf{D}=\left(\begin{array}{c|cccc} & X_{1} &

目录1. 数学内容概述2. 一元函数微分学- 导数- 导数的定义- 左导数、右导数和右导数- 几何意义与物理意义- 求导公式- 基本函数- 四则运算法则- 复合函数求导法则- 用途- 高阶导数- 导数与函数单调性关系- 极值定理- 导数与函数凹凸性- 一元函数泰勒展开3. 线性代数基础- 向量- 向量的范数- 特殊向量- 矩阵- 逆矩阵- 行列式4. 多元函数的微分学- 偏导数- 高阶偏导数- 梯度- 雅克比矩阵- Hessian 矩阵- 极值判别法则5. 线性代数高级- 二次型- 特征值和特征向量- 特