weixin_43575791的博客

随机梯度下降：动量：AdaGrad：Adam：L1、L2RELU

在概率图模型中，V表示节点，即随机变量，E表示边，即概率依赖关系概率无向图模型就是马尔可夫随机场

利用boston数据集，对数据标准化后进行回归，并进行多模型对比。代码如下：import pandas as pdimport numpy as npfrom sklearn.datasets import load_bostonfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing ...

纯手写，有助于深入理解PCA'''数据描述：X 大小：m×n ---n个m维样本每一列是一个样本'''import osimport globimport cv2import numpy as np# 设置文件路径os.getcwd()os.chdir('C:/Users/h/Desktop/ML/ORL')os.getcwd()# 读取图像# path...

一、简介1、什么是机器学习AprogramcanbesaidtolearnfromexperienceEwithrespecttosomeclassoftasksTandperformancemeasureP,ifitsperformanceattasksinT,asmeasuredbyP,improveswithexperienceE.2、机器学习三要素...

15.1 基本概念机器学习中的“规则”通常指语义明确、能描述数据分布所隐含的客观规律或领域概念、可写成“若……，则……”形式的逻辑规则。规则学习是从训练数据中学习出一组能用于对 未见示例进行判别的规则。规则学习具有更好的解释性。集合中每条规则都可看作一个子模型，规则集合是这些子模型的一个集成规则覆盖：符合该规则的样本称为被该规则“覆盖”。“冲突”：当同一个示例被判别结...

14.1 隐马尔可夫模型机器学习最重要的任务，是根据一些已观察到的证据（如训练样本）来对感兴趣的未知变量（如类别标记）进行估计和推测。概率模型提供了一种描述框架，将学习任务归结于计算变量的概率分布。在概率模型中，利用已知变量推测未知变量的分布称为“推断”，其核心是如何基于可观测变量推测出未知变量的条件分布。Y：所关心的变量集合O：可观测变量集合R：其他变量集合“生成式”模型考虑...

13.1 未标记样本让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能，就是半监督学习要利用未标记样本，必然要做一些将未标记样本所揭示的数据分布信息与类别标记相联系的假设，最常见的是“聚类假设”，即假设数据存在簇结构，同一个簇的样本属于同一类别。另一种常见假设是“流形假设”，即假设数据分布在一个流形结构上，邻近的样本具有相似的输出值。“邻近”程度常用“相似”程度来刻画，因此流形假设...

12.1 基础知识12.1 基础知识计算学习理论研究的是关于通过“计算”来进行“学习”的理论，即关于机器学习的理论基础，目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计样例集 ，, ，所有样本 i.i.d. ，h为X到Y的映射（下面公式中的D是所有样本服从的一个未知分布D）泛化误差：，简记为，≤ε，ε表示预先设定的学得模型所应满足的误差要求，...

11.1 子集搜索与评价特征选择：从给定的特征集中选择出相关特征子集的过程。特征选择过程必须确保不丢失重要特征。处理高维数据两大主流技术：降维，特征选择无关特征：与当前学习任务无关冗余特征：它们所包含的特征能从其他特征中推演出来。有时候不起作用，去除减轻学习负担；有时候会降低学习任务的难度。若某冗余特征恰好对应了完成学习任务所需的“中间概念”，则该冗余特征是有益的子集搜索...

10.1 k近邻学习懒惰学习：在训练阶段仅仅把样本保存起来，训练时间开销为零，待收到测试样本后再进行处理；急切学习：在训练阶段就对样本进行学习处理的方法。最近邻分类器的泛化错误率不超过贝叶斯最优分类器的错误率的两倍给定样本x，其最近邻样本为z，则最近邻分类器出错的概率：假设样本独立同分布，且对任意x和任意小正数δ，在x附近δ范围内总能找到一个训练样本。于是得证...

9.1 聚类任务聚类试图将数据集中的样本划分为若干个通常不想交的子集，每个子集称为一个簇。9.2 性能度量聚类性能度量大致两类：外部指标、内部指标外部指标：将聚类结果与某个“参考模型”进行比较内部指标：考察聚类结果 而不利用任何参考模型外部指标：聚类给出的簇划分：参考模型给出的簇划分：相应的簇标记向量为λ，λ*SS包含了在C中隶属于相同簇且...

8.1 个体与集成集成学习通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统，基于委员会的学习等。同质集成，只包含同种类型的个体学习器，同质集成的个体学习器亦称“基学习器”，相应的学习算法为“基学习算法”异质集成，包含不同类型的个体学习器，异质集成中的个体学习器由不同的学习算法生成，这时就不再有基学习算法，个体学习器常称为“组件学习器”，或直接称为个体学习器弱学习器：...

7.1 贝叶斯决策论贝叶斯决策论是概率框架下实施决策的基本方法。对分类任务来说，在所有相关概率都已知的理想情形下，贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优类别标记。把样本x分类为ci，在样本x上的“条件风险”：总体风险贝叶斯判定准则：最小化总体风险，只需在每个样本上选择那个能使条件风险R(c|x)最小的类别标记h*称为贝叶斯最优分类器，与之对应的总...

6.1 间隔与支持向量优化即6.2 对偶问题对上式使用拉格朗日乘子法可得其对偶问题分别对我w,b求偏导代入L（w,b,α），消去w,b，即得----------1式求解α，代入模型上述过程满足KKT条件：这个是拉格朗日乘子约束条件这个是拉格朗日乘子求解1式，SMO算法SMO算法基本思路是先固定之外的所有参...

5.1 神经元模型神经网络是由具有适应性的简单单元组成的广泛并行互联的网络，最基本的成分是神经元模型。M-P神经元模型如下：从计算机科学角度看，将神经网络视为包含了许多参数的数学模型，这个模型是若干函数，例如 相互嵌套而得。5.2 感知机与多层网络感知机由两层神经元组成，输出层是M-P 神经元，亦称“阈值逻辑单元”感知机能实现与、或、非运算，与、或、非问题是线性可分问题...

4.1 基本流程一般，一个决策树包含根节点、若干内部节点和若干叶节点；叶节点对应于决策结果，其他每个节点则对应于一个属性测试；每个节点包含的样本集合根据属性测试的结果被划分到子结点中；根节点包含样本全集。从根节点到每个叶结点的路径对应了一个判定测试序列决策树生成是一个递归过程，三种情形导致递归返回1）当前结点包含的样本全属于同一类别，无需划分。2）当前属性集为空，或所有样本在所有属...

3.1 基本形式w直观表达了各属性在预测中的重要性，因此线性模型有很好的解释性3.2 线性回归对离散属性，若属性值之间存在“序”关系，可通过连续化将其转化为连续值，如高矮可转换为{1,0}，高中低可转化为{1,0.5,0}；若属性之间不存在序关系，假设有K个属性值，则通常转化为k维向量，如西瓜、 南瓜、黄瓜可转化为（0,0,1），（0,1,0），（1,0,0）均...

2.1 经验误差与过拟合错误率：分类错误的样本数占总样本数的比例精度 = 1 - 错误率误差：学习器的实际预测输出与样本的真实输出之间的“差异”学习器在训练集上的误差称为“训练误差”或“经验误差”在新样本上的误差称为“泛化误差”当学习器把训练样本学得太好的时候，很可能把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，会导致泛化性能下降，即过拟合，...

1.1 引言机器学习：研究如何通过计算的手段，利用经验来改善系统自身地性能。“经验”以数据的形式存在计算机科学：研究关于“算法”的学问机器学习： 研究关于“学习算法”的学问模型：泛指从数据中学得的结果1.2 基本术语：， ， 表示包含了m个示例的数据集，每个示例是d维空间Χ的一个向量，d是维数数据集：一组记录的集合，亦称一个“样本”，因为可看作对样本空间的采样；其中每条记录是关于...