文章目录一、定义符号二、中心化和标准化三、Z-score 标准化四、PCA 算法的基本思想五、求解 μ 与降维六、参考一、定义符号主成分分析（Principal Components Analysis, PCA）是一种降维方法。为了更好的解释该算法，首先假设数据集为 {x(i);i=1,2,…,m}\{x^{(i)}; i=1,2, \dots, m\}{x(i);i=1,2,…,m}，其中 ...

一、判别式学习算法和生成式学习算法对于一个分类问题来说（这里以二分类问题为例），不管是感知器算法还是逻辑回归算法，都是在解空间中寻找一条直线从而把两种类别的样例分开，对于新的样例只要判断在直线的哪一侧即可，这种直接对问题求解的方法可以成为判别学习方法。生成学习算法则是对两个类别分别进行建模，用新的样例去匹配两个模型，匹配度较高的作为新样例的类别。二、贝叶斯公式朴素贝叶斯算法的核心公式自然是贝...

文章目录一、前置假设二、K近邻法基本思想三、K近邻法的三个要素1. K 值的选择2. 距离的度量3. 分类决策的规则四、特征归一化五、对异常值敏感六、参考一、前置假设输入空间：χ⊆Rn\chi \subseteq R^nχ⊆Rn训练集：T=[(x1,y1),(x2,y2),⋯ ,(xN,yN)]T=[(x_1, y_1), (x_2, y_2), \cdots,...

文章目录一、假设二、K-means 算法的一般流程三、对 K-means 算法的进一步解释四、对 K-means 算法的改进五、K 值的选取六、参考一、假设K-means 算法是一种聚类算法。为了更好的解释这个算法，首先我们假设给定的数据集为 {x(1),x(2),⋯ ,x(m)},x(i)∈Rn\{ x^{(1)}, x^{(2)}, \cdots, x^{(m)...

文章目录数据集决策树模型特征选择ID3信息熵信息增益实例介绍算法整体过程算法的不足之处C4.5 算法处理连续特征解决偏好问题处理缺失值解决过拟合问题C4.5 算法总结CARTCART 算法简介CART 算法的特征选择分类问题回归问题CART 算法如何划分数据集连续特征非连续特征剪枝参考决策树算法既可以应用于分类问题，也可以应用于回归问题。决策树算法有可解释性好、分类速度快的特点。决策树算法主要包...

文章目录Linux 系统 matplotlib 正常使用中文Windows 系统 matplotlib 使用中文示例Linux 系统 matplotlib 正常使用中文在该实验中用到的 Linux 系统是 Ubuntu 16.04。下载中文字体 simhei.ttf。搜索 matplotlib 的字体安装位置：locate -b '\mpl-data'。由于我创建了虚拟环境，得到的路径为...

文章目录一、定义符号二、假设函数三、目标函数1. 目标函数的形式2. 为什么要选择这样的目标函数？四、优化目标函数的方法1. 批梯度下降2. 随机梯度下降3. 正规方程法推导五、参考一、定义符号假设数据集为 {(x(1),y(1)),(x(2),y(2)),…,(x(m),y(m))}\{(x^{(1)}, y^{(1)}),(x^{(2)}, y^{(2)}),\dots,(x^{(m)},...

文章目录一、推导过程二、参考一、推导过程假设要解决的问题是一个二分类问题，目标值为 {0,1}\{0, 1\}{0,1}，以线性回归为基础，将模型输出映射到 [0,1][0, 1][0,1] 之间。我们选择这样一个函数：g(z)=11+e−zhθ(x)=g(θTx)=11+e−θTxg(z) = \frac{1}{1 + e^{-z}} \\h_\theta(x) = g(\theta^...