记录学习过程所学

文章目录点到超平面的距离计算目标函数优化目标拉格朗日推导过程**支持向量**软间隔非线性处理手段问题案例低维—高维核函数高斯核函数SVM多分类问题参考点到超平面的距离计算目标函数解决的问题：什么样的决策边界是最好的？二维平面上的点，找的是线；高维空间，找的是超平面超平面的特征超平面分开了两类该超平面具有最大化间隔该超平面处于间隔的中间，到所有支持向量距离相等【支持向量：最接近超平面的点】数据集（X1,Y1)、（X2,Y2)……(Xn,Yn)，Y为样本类别：X为正例Y=1, X为

PAC(主成分分析法)将高维数据特征降低为低维数据特征，减少维度冗余，将数据沿方差最大方向投影，数据更易于区分，在同一维度的相关性降低能够去除部分噪声，因为最小特征值所对应的特征向量往往与噪声有关提高运算速度属于非监督学习算法PCA处理过程方法1原则最大可分性：样本点到这个超平面上的投影尽可能分得开，通过投影点的方差来度量方法2原则最近重构性：样本点到这个超平面的距离足够近分析步骤第一步：均值归零第二步：目标函数定义方差：X

文章目录参数公式代码参数学习率：alpha迭代次数：iteration梯度下降要乘以负号，若是梯度上升则为正号公式代码from sklearn import datasetsimport matplotlib.pyplot as pltimport matplotlib.pyplot as plt1import numpy as npimport random# 加载数据data = datasets.load_boston()X, Y = data['dat

文章目录代码实操简单线性回归公式推导普通实现自制封装类测试python封装库代码实操简单线性回归公式推导普通实现import numpy as npimport matplotlib.pyplot as plt#描点x = np.array([1., 2., 3., 4., 5.])y = np.array([1., 3., 2., 3., 5.])plt.scatter(x, y)plt.axis([0, 6, 0, 6])plt.show()#利用公式计算a,b,找出拟合直线

代价函数也称损失函数，衡量真实值与预测值之间差距，常用最小化损失函数来评估模型代价函数对每个参数的偏导数就是梯度下降中提到的梯度优化参数θ的过程常用梯度下降方法，J(θ)对θ1，θ1，θ2……求偏导线性拟合函数h(θ)=θ0+θ1xh(\theta) = \theta_0+\theta_1xh(θ)=θ0​+θ1​x将h(θ)表示为矩阵乘法h(θ)=θ0+θ1xh(θ)=[1x01x1].[θ0θ1]h(\theta) = \theta_0+\theta_1x\\ h

机器学习内容 监督学习 无监督学习 强化学习 监督学习 supervised learning 根据已有正确答案的数据集预测未知的结果 案例 房价与占地面积：{Price， Size int feet^2} 像这种根据连续数据集预测的情况可以归为回归问题 癌症：{Malignant, Tumor Size} 0/1判断问题 像这种根据离散数据集预测的情况可以归为分类问题无监督学习 unsupervised learnin

简单交叉验证 随机按一定比例划分：67% ： 33% K折交叉验证 数据集等分为k组，每组都作一次验证集，得到k个模型，k个结果取平均，k一般取3,5,10 留一交叉验证 N个数据，每个样本都做验证集，其余N-1个为训练集,得到N个模型，N个模型结果取平均 优点：准确率高，随机影响小 缺点：计算量大 适用于数据量小的情况：比如N<50 黄金准则 不知道如何分离数据集时，选择K折交叉验证，不知道K取多少，选择K = 10 ...