ocean11的博客

KNN算法KNN算法是一种常见的分类算法，其名称来源于 k Nearest neighbors，该算法基本思想为，对于一个分类问题，新的数据的类别应该和离他最近的已知数据点的类别相同。KNN算法不同于常见的统计算法。是一种懒惰算法。在没有 预测行为时，不会做任何计算。KNN算法的主要工作为遍历已知数据点和选取合适的距离度量方式。因此可以根据度量方式对数据集做预处理加快预测速度。算法流程...

import numpy as npimport randomdef genData(pointCont, bias, variance): """ x是多个二维的点，沿着y=x+b直线附近分布，b为bias， variance为y的基础偏差，总偏差为基础偏差+随机偏差 :param pointCont: 生成的点的数量 :param bias: 结...

from numpy import genfromtxtfrom sklearn import linear_model"""[100. 4. 9.3] [ 50. 3. 4.8] [100. 4. 8.9] [100. 2. 6.5] [ 50. 2. 4.2] [ 80. 2. 6.2] [ 75. ...

import numpy as npdef fitSLR(x,y): n=len(x) dinominator = 0 numerator=0 for i in range(0,n): numerator += (x[i]-np.mean(x))*(y[i]-np.mean(y)) dinominator += (x[i]-np....

安装包使用python 模块scikit-learn覆盖问题领域：分类（classification), 回归（regression), 聚类（clustering), 降维(dimensionality reduction)模型选择(model selection), 预处理(preprocessing)实现代码from sklearn.feature_extraction impo...

决策树决策树可以理解为对于条件的一系列判定，由于每一个条件都有是否两种情况，将所有情况按照树状组织起来就叫做决策树。决策树可以对于数据集上的数据做分类。如下图节点中代表当前的数据各自的占比，根节点代表play的数据有9个，not play的数据有5个。此时按照outlook的三种情况对整个数据集做划分，可以得到在sunny下的play=2，notplay=3，以此类推。这样就能够根据数据集和...

SVM模块调用在sklearn中，封装了svm模块，可以直接调用模块传入数据集获得训练的SVM，下面对训练练简单的模型并且生成可视化结果import numpy as npimport pylab as plfrom sklearn import svm# 创建40个随机点X = np.r_[np.random.randn(20, 2) - [2, 2], np.random.ran...

2.支持向量机的数学原理这里推荐这两篇文章https://blog.youkuaiyun.com/qq_35992440/article/details/80987664https://www.cnblogs.com/liaohuiqiang/p/7805954.html两篇博客对向量机的原理和拉格朗日乘子法的原理介绍的很清楚，搭配看效果更佳。下面简要介绍其思路：如上篇文章介绍，支持向量机其最终目...

1. 支持向量机的基本原理线性可区分SVM -> support vector machine考虑如下分类问题：可以看到，黑色和白色的点分别为两类，那么可以在平面找一条线，将两种点分割在直线的两端，如图的蓝色和红色的直线就是例子。这两个直线对数据集表现的都很好，不像绿色的线甚至无法分清训练数据的类别。那么对于新来的数据，我们可以根据其落在直线的那一侧来预测新数据的类型。然而对于不...

神经网络的简单实现""" NerualNetwork.py"""import numpy as npdef tanh(x): return np.tanh(x)def tanh_deriv(x): return 1.0-np.tanh(x)*np.tanh(x)def logistic(x): return 1/(1+np.exp(-x))d...

knn模型调用和简单的knn模型实现

聚类算法聚类算法是一种非监督学习算法，根据数据集的分布特征，将其聚集为相互比较近的多个集合，集合的数量通常指定。经典算法 k-meansk-means是经典的聚类算法，其算法流程如下：随机或者有区分的选取k个点作为k个种类的中心分别计算所有点到每个中心的距离，并将其归入最近的类再次计算每个类中所有点的平均中心将每个类的中心位置更新，重复2,3直到每个点的所属类不在变化，或者达到设定...