Gowi的博客

吴恩达机器学习第八章【Neural Networks: Representation】文章目录吴恩达机器学习第八章【Neural Networks: Representation】Non-linear Hypotheses【非线性假设】Neurons and the Brain【神经元和大脑】Model Representation I【模型表示1】Model Representation II...

吴恩达机器学习第四章【Linear Regression with Multiple Variables】文章目录吴恩达机器学习第四章【Linear Regression with Multiple Variables】Multiple Features【多维特征】Gradient Descent for Multiple Variables【多变量梯度下降】Gradient Descent i...

吴恩达机器学习第七【Regularization】文章目录吴恩达机器学习第七【Regularization】The Problem of Overfitting【过拟合的问题】Cost Function 【代价函数】Regularized Linear Regression【正则化线性回归】Regularized Logistic Regression【正则化的逻辑回归模型】The Probl...

吴恩达机器学习第三章【Linear Algebra Revie】文章目录吴恩达机器学习第三章【Linear Algebra Revie】Matrices and VectorsAddition and Scalar MultiplicationMatrix Vector MultiplicationMatrix Matrix MultiplicationMatrix Multiplication...

吴恩达机器学习第六章【Logistic Regression】文章目录吴恩达机器学习第六章【Logistic Regression】Classification【分类问题】Hypothesis Representation 【假说表示】Decision Boundary【判定边界】Cost Function【代价函数】Simplified Cost Function and Gradient D...

import pathlibimport pandas as pdimport seaborn as snsimport tensorflow as tfimport matplotlib.pyplot as pltfrom tensorflow import keras as kerasfrom tensorflow.keras import layers as layersda...

https://zhuanlan.zhihu.com/p/44216830

LAD线性判别分析鸢尾花预测文章目录LAD线性判别分析鸢尾花预测数学原理代码实现数学原理代码实现#!/usr/bin/env python# -*- coding: utf-8 -*-# @File : LDA.py# @Author: Gowi# @Date : 2021/3/25# @Desc :import pandas as pdimport numpy as np# 计算协方差矩阵def Sigma(Iris, u): s = np.zeros

吴恩达机器学习第一章文章目录吴恩达机器学习第一章Machine LearningSupervised LearningUnsupervised LearningMachine Learning机器学习所研究的主要内容，是关于计算机上从数据中产生“模型”（model）的算法，即“学习算法”（learning algorithm），有了学习算法，我们把经验数据提供给它，它就能基于这些数据产生模型...

吴恩达机器学习第二章文章目录吴恩达机器学习第二章Linear Regression with One VariableCost FunctionCost Function - Intuition ICost Function - Intuition IIGradient DescentGradient Descent IntuitionGradient Descent For Linear Re...

吴恩达机器学习第九章【Neural Networks: Learning】文章目录吴恩达机器学习第九章【Neural Networks: Learning】Cost Function 【代价函数】Backpropagation Algorithm【反向传播算法】Backpropagation Intuition【 反向传播算法的直观理解】Implementation Note\_ Unrolli...

python实现ID3 决策树素材AllElectronics.csv代码实现import csvfrom sklearn import treefrom sklearn import preprocessingfrom sklearn.feature_extraction import DictVectorizerallElectronicsData = open(r'Al...

贝叶斯球算法(规则)：假设在贝叶斯网络中有一个按一定规则运动的球。已知中间结点（或结点集合）Z，如果球不能由结点X出发到达结点Y（或者由Y到X），则称X和Y关于Z独立。首先贝叶斯球从A出发滚到F处，F为已知节点，反弹来自父节点的球，无法达到B，所以。例子：A 和 B 是否关于 F 条件独立？例子：A 和 B 是否关于 C 条件独立？首先贝叶斯球从A出发可以直接滚到B处，所以。三种简单的结构，其中灰色球表示已知节点。

隐马尔科夫模型(Hidden Markov Model, HMM)是建模序列数据的图模型在HMM模型存在隐藏状态xt−1xtxt1，以及观测状态yt−1ytyt1设Q为所有隐藏状态的集合，V为所有观测状态的集合，即Qq1​q2​qN​Vv1​v2​vM​设存在长度为T的序列，其中I对应的状态序列，Q是对应的观察序列Ii1​i2​iT​Oo1​o2​oT​it​∈Qo。

EM算法的核心分为两步因为在最大化过程中存在两个参量rθ，其中若知道r，则知道θ；若知道θ，则知道r。且两个量未存在明显的关系，但又互相依存可以采用EM算法rrθθr。

聚类算法就是根据数据中样本与样本之间的距离或相似度，将样本划分为若干组／类／簇，其划分的原则：簇内样本相似、簇间样本不相似，聚类的结果是产生一个簇的集合。其划分方式主要分为两种，其中簇往往分为三种情况。

Boosting 是指，仅通过训练精度比随机猜想（50%）稍高的学习器，通过集成的方式过建出强学习器。其中boosting中最有名的是AdaBoost算法。AdaBoost是英文"Adaptive Boosting"（自适应增强）的缩写，它的自适应在于：前一个基本分类器被错误分类的样本的权值会增大，而正确分类的样本的权值会减小，并再次用来训练下一个基本分类器。同时，在每一轮迭代中，加入一个新的弱分类器，直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数才确定最终的强分类器。

对于二分类问题，在线性可分的情况下，试图构建一个判别式W′X′b，为了便于操作将判别式增广为WX。$$$$为了将其表示为概率的方式我们对概率建模，将其缩放为01的范围上，所以我们利用sigmoid函数1e−x1​。由此我们设分类为w1​的概率为PY1∣x1e−Wx1​PY1∣xi​Pxi​PY0∣xi​1−Pxi​LW∏Pxi​yi​1−Pxi​1。

在机器学习学习中若存在维度过高的向量，则不利于分析向量的样本的方差与均值。

在机器学习学习中往往不知道需要不知道选取的特征个数，假如特征个数选取过少，容易造成欠拟合，特征个数选取过多，则容易造成过拟合。特征过多时）损失函数往往趋近于0甚至等于0，能够很好的拟合样本但是不具有很好的泛化能力，所以为了降低模型的复杂度我们引入了一个正则项。当选用特征过多时，函数的拟合程度如右边的图一样，能够完全拟合样本，但是可能在测试数据上不佳。当选用特征适中时，函数的拟合程度如中间的图一样，可以比较好的拟合。当选用特征过少时，函数的拟合程度如左边的图一样，不能很好的拟合。时，模型可以较好的拟合样本。

若存在超平面di​xwi​x可以将属于wi​与不属于wi​范围的划开di​xwiT​x0ifx∈wi​0ifx∈wi​​1即通过一个判别函数把整个空间划分成一个wi​与不属于wi​的范围。就可以将一个M分类问题转化为M个多分类问题。但是当存在多个di​x0的区域或者全部的di​x0时，则分类失败，此类空间被称为不确定区域。

为了使两个样本能够较好的分开，应该是的每一个同类的样本的方差（离散程度）尽可能的小，而不同类的样本的尽可能的远。使得LDA可以较好的解决二分类问题。由于寻找对是W的方向上的向量，所以。对于二分类问题若存在一个。由此我们优化的目标时使得。为一个标量设为R，则。

当存在这样的一组向量集合V，其中vuw分别为集合V中的元素，以及存在标量c，duv∈VuvvuuvwuvwV00vvVuV−uu−u0u∈vuv∈Vu∈Vuuuu若满足上述要求则称V为一个向量空间向量空间Rn由所有的n维向量v组成，向量中的每个元素都是实数。：一个向量空间的子空间是由一系列的向量组成的，并且满足：如果是w和v是子空间的两个向量并且c是任意标量，那么有cwcv所以R3的子空间可能有LPZR3对于Ax。

中是线性的，若我们实现一个函数使。中线性不可分，但在模式空间。设有一个训练用的模式集{

样本集X有两个类情况，感知机YwXb可以将样本集X分为成功两类YwXb0x∈w1​0x∈w2​​为了简化YWXb的形式可以令X′​x1​x2​⋮xn​1​​Ww1​w2​wn​b​于是存在YWX同时让$\forall X, X_i \in w_2;X=-X，于是当Y=WX>0时，分类正确，若分类错误，则W=W+Cx_i，更新W的值。当且仅当对样本集\pmb X全部分类正确。

贝叶斯学习主要是依靠先验概率来推出后验概率，然后更具后验概率去验证。其主流分为朴素贝叶斯和高斯分布下的贝叶斯估计。