qq_42052864的博客

初始设置import sysassert sys.version_info >= (3,5)import sklearnassert sklearn.__version__>="0.20"import numpy as npimport osnp.random.seed(42)# 画布初始设置%matplotlib inlineimport matplotlib as mplimport matplotlib.pyplot as pltmpl.rc('axes',la

信息熵

分类器MINIST使用MNIST数据集，这是一组由美国高中生和人口调查局员工手写的70000个数字的图片Scikit-Learn提供了许多助手功能来帮助你下载流行的数据集。MNIST也是其中之一。下面是获取MNIST数据集的代码from sklearn.datasets import fetch_openmlminst = fetch_openml('mnist_784',version=1)minst.keys()dict_keys(['data', 'target', 'frame',

线性回归模型：ps:x是实例的特征向量，包含从x0到xn，x0始终等于1性能指标：均方误差MSE。 1. 为了获得使成本函数MSE最小值时的值，可以直接用标准方程解。import numpy as npX = 2 * np.random.rand(100,1)y = 4 + 3 * X + np.random.randn(100,1)X_b = np.c_[np.ones((100,1)),X]theta_best = np.linalg.inv(X_b.T.do...

# 多类分类器from sklearn.datasets import fetch_openmlminst = fetch_openml('mnist_784',version=1)X,y = minst["data"],minst["target"]X_train,X_test,y_train,y_test = X[:60000],X[60000:],y[:60000],y[60000:]some_digit = X[0]多类分类器（也称为多项分类器）可以区分两个以上的类。有一些算法（如

坏数据训练数据的数量不足训练数据不具代表性低质量数据如果训练集满是错误、异常值和噪声，系统将更难检测到底层模式。解决方案一般有以下几个：如果某些实例明显是异常情况，那么直接将其丢弃，或者尝试手动修复错误 如果某些实例缺少部分特征，则必须决定是整体忽略这些特征、忽略这部分有缺失的实例、将缺失的值补充完整，还是训练一个带这个特征的模型，再训练一个不带这个特征的模型。无关特征只有训练数据里包含足够多的相关特征以及较少的无关特征，系统才能够完成学习。一个成功的机器学习项目，其关键部分是提

机器学习系统类型分类是否在人类监督下训练有监督学习K-近邻算法线性回归逻辑回归支持向量机决策树和随机森林神经网络无监督学习聚类算法（k-均值算法，DBSCAN，分层聚类分析）异常检测和新颖性检测（单类SVM，孤立森林）可视化和降维（主成分分析，核主成分分析，局部线性嵌入，t-分布随机近邻嵌入）关联规则学习（Apriori，Eclat)半监督学习由于通常给数据做标记是非常耗时和昂贵的，往往会有很多未标记的数据而很少有已标记的数据，有些算法可以处理部分已标记的数据。

根据线性回归模型的参数估计公式 可知，得到的前提是矩阵可逆，但在实际应用中，可能会出现自变量个数多于样本量或者自变量间存在多重共线性的情况，即的行列式为0，此时将无法根据公式计算回归系数的估计值。解决该问题可用岭回归模型，岭回归模型就是在线性回归模型的目标函数之上添加L2正则项（也称为惩罚项）。L2范式惩罚项的加入，使得满秩，保证了可逆。但是由于惩罚项的加入，回归系数不再是无偏估计。所以岭回归实质上是以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法i

一元线性回归模型的介绍与应用一元线性回归模型回归方程形式：，i=1,2,...n,其中需满足以下四个假设条件a.正态性假设，即是服从正态分布的随机变量b.无偏性假设，即E()=0c.同方差性假设，即所有的方差都相同；同时也说明了与自变量，因变量之间都是相互独立的d.独立性假设，之间相互独立，且满足COV(,)=0(ij)根据误差平方和最小的原则，用最小二乘法求解参数a,b：一元回归模型python的实现：import pandas as pd...