内容真的好多，需要记忆的点也有好多，所以就是需要复盘，现在对概念大致方向比较清晰，就是具体代码实现还是需要进一步的进行训练。
1.主成分分析（PCA）：高危数据转换为低维数据，应用在回归分析或聚类分析中
找到一个合适的直线，通过一个矩阵运算得出主成分分析的结果
sklearn.decomposition.PCA(n_components=None)
小数：表示保留百分之多少的信息；证书：减少到多少特征
PCA.fit_transform(X)
X:numpy array 格式的数据[n_samples,n_features]
返回值：转换后指定维度的array
案例：探究用户对物品类别的喜好细分
用户 物品类别
user_id aisle
1.需要将user_id和aisle放在同一张表中 -->合并
2.找到两者之间的关系 -->交叉表和透视表
3.特征冗余过多 -->PCA降维
分类算法：目标值：类别
1.sklearn转换器和预估器（estimator）
转换器-->特征工程的父类，实例化，调用fit_transform()，【fit()计算每一列的平均值，标准差，transform()进行最终转换】
估计器-->实例一个estimator，estimator.fit(x_train，y_train)计算,调用完毕模型生成
模型评估：1.直接比对真实值和预测设置 y_predict = estimator.predict(x_test) y_test == y_predict
2.计算准确率，estimator.score(x_test,y_test)
2.KNN算法 (K-近邻算法)
核心思想：根据“邻居”推断你的类别
k = 1 ：容易受到异常点的影响
k过大容易分错，样本不均衡的影响
确定邻居：计算距离：距离公式（欧氏距离）（曼哈顿距离：绝对值距离）（明可夫斯基距离）
距离：无量纲化的处理：标准化
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5，alogorithm='auto')
n_neighbors: int可选，k_neighbors：查询默认使用的邻居值
优点：简单易于理解易于实现无需训练
缺点：1.k值指定回影响精度；2.测试分类计算量大内存开销大，懒惰算法
3.模型选择与调优
交叉验证（cross validation）：将训练数据分为训练和验证集，取模型平均值作为最终结果。
超参数搜索--网格搜索(Grid Search)：
sklearn.model_selection.GridSearchCV(estimator,param_grid=None,cv=None)
对估计器的指定参数进行详尽搜索
estimator：估计器对象
param_grid:估计器参数（dict）
cv:指定几折交叉验证
fit():输入训练数据
score():准确率
结果分析：best_params_ best_score_ best_estimator_ cv_results_
案例：预测facebook签到位置，使用jupyter书写，数据量大
流程分析：1.获取数据；
2.数据处理：目的：特征值x，目标值y
a,缩小数据范围：2<x<2.5,1.0<y<1.5；b,time -->年月日时分秒
c，过滤签到次数少的地点
3.特征工程：标准化
4.knn算法预估流程
5.模型选择与调优
6.模型评估
4.朴素贝叶斯算法：朴素+贝叶斯。
朴素：假设，特征与特征之间是相互独立的。
概率基础：联合概率，条件概率，相互独立（联合概率=单独概率乘积）
贝叶斯公式！！！
应用场景：文本分类
朴素贝叶斯分类：
拉普拉斯平滑系数(alpha)：防止计算出的分类概率为0
sklearn.naive_bayes.MultinomialNB(alpha=1.0)
优点：对缺失数据不太敏感，算法简单，分类准确度高，速度快
缺点：如果特征属性有关联时效果不好
5.决策树：来源if-else结构（没有免费的午餐）（数据量大）（可以可视化）
特征的先后顺序，高效进行决策
原理：信息熵，信息增益（信息论基础）
信息：（香农）消除随机不定性的东西
信息的衡量 -->信息量 -->信息熵
决策树的划分依据之一 --->信息增益：得知特征X的信息的不确定性减少的程度使得类Y的信息熵减少的程度
决策树分类器：
class sklearn.tree.DecisionTreeClassifier(criterion='gini',max_depth=None,random_state=None)
criterion：默认是'gini'系数，也可以选择信息增益的熵'entropy'
max_depth：树的深度大小
random_state：随机数种子
决策树可视化：sklearn.tree.export_graphviz()导出DOT格式
tree.export_graphviz(estimator,out_file='tree.dot',feature_names=['',''])
(导出后进入网站：http://webgraphviz.com/ 进行可视化)
优点：可视化，可解释能力强
缺点：容易过拟合，不能推广数据的过于复杂的树，改进：减枝cart算法，随机森林
from sklearn.decomposition import PCA
def pca_demo():
# PCA降维
data = [[2,8,4,5],[6,3,0,8],[5,4,9,1]]
tran = PCA(n_components=2) # 降到2维
data_new = tran.fit_transform(data)
print('data_new:\n',data_new)
return None
if __name__ == '__main__':
pca_demo()
import pandas as pd
from sklearn.decomposition import PCA
# 数据集比较大运行时间会比较长
def demo():
# 1.获取数据
order_products = pd.read_csv('order_products__prior.csv')
products = pd.read_csv('products.csv')
orders = pd.read_csv('orders.csv')
aisles = pd.read_csv('aisles.csv')
# 2.合并表
tab1 = pd.merge(aisles,products,on=['aisle_id','aisle_id'])
tab2 = pd.merge(tab1,order_products,on=['product_id','product_id'])
tab3 = pd.merge(tab2,orders,on=['order_id','order_id'])
# 3.找到user_id和aisle之间的关系
table = pd.crosstab(tab3['user_id'],tab3['aisle'])
# print('table:\n',table)
# 4.PCA降维
tran = PCA(n_components=0.95)
data_new = tran.fit_transform(table)
print('data_new\n',data_new.shape)
if __name__ == '__main__':
demo()
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
def knn_iris():
# 1.获取数据
iris = load_iris()
# 2.数据集划分
x_train,x_test,y_train,y_test = train_test_split(iris.data,iris.target,random_state=6)
# 3.特征工程：标准化
tran = StandardScaler()
x_train = tran.fit_transform(x_train)
x_test = tran.transform(x_test)
# 4.KNN预估器流程
estimator = KNeighborsClassifier(n_neighbors=3)
estimator.fit(x_train,y_train)
# 5.模型评估
# 1.直接比对真实值和与测试
y_predict = estimator.predict(x_test)
print('y_predict：\n',y_predict)
print('直接比对\n',y_test == y_predict)
# 2.计算准确率
score = estimator.score(x_test,y_test)
print('score:\n',score)
return None
def knn_iris_gscv():
# 添加网格搜索和交叉验证
# 1.获取数据
iris = load_iris()
# 2.数据集划分
x_train,x_test,y_train,y_test = train_test_split(iris.data,iris.target,random_state=6)
# 3.特征工程：标准化
tran = StandardScaler()
x_train = tran.fit_transform(x_train)
x_test = tran.transform(x_test)
# 4.KNN预估器流程
estimator = KNeighborsClassifier()
# 加入网格搜索和交叉验证
param_dict = {'n_neighbors':[1,3,5,7,9,11]}
estimator = GridSearchCV(estimator,param_grid=param_dict,cv=10)
estimator.fit(x_train,y_train)
# 5.模型评估
# 1.直接比对真实值和与测试
y_predict = estimator.predict(x_test)
print('y_predict：\n',y_predict)
print('直接比对\n',y_test == y_predict)
# 2.计算准确率
score = estimator.score(x_test,y_test)
print('score:\n',score)
print('最佳参数\n',estimator.best_params_)
print('最佳结果\n',estimator.best_score_)
print('最佳估计器\n',estimator.best_estimator_)
print('交叉验证结果\n',estimator.cv_results_)
return None
if __name__ == '__main__':
# knn_iris()
knn_iris_gscv()
# facebook 案例使用jupyter输入，因为没有安装就写在这里了
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
import pandas as pd
data = pd.read_csv('train1.csv')
# 缩小数据范围
data = data.query('x < 2.5 & x > 2 & y < 1.5 & y > 1.0')
# print('data\n',data)
# 处理时间特征
time_value = pd.to_datetime(data['time'],unit='s')
date = pd.DatetimeIndex(time_value)
data['day'] = date.day
data['weekday'] = date.weekday
data['hour'] = date.hour
data.head()
# print('data',data)
# 过滤掉次数少的地点
place_count = data.groupby('place_id').count()['row_id']
place_count[place_count > 3].head()
data_final = data[data["place_id"].isin(place_count[place_count>3].index.values)]
data_final.head()
# 筛选特征值和目标值
x = data_final['x','y','accuracy','day','weekday','hour']
y = data_final['place_id']
# 数据集划分
x_train,x_test,y_train,y_test = train_test_split(iris.data,iris.target,random_state=6)
# 3.特征工程：标准化
tran = StandardScaler()
x_train = tran.fit_transform(x_train)
x_test = tran.transform(x_test)
# 4.KNN预估器流程
estimator = KNeighborsClassifier()
# 加入网格搜索和交叉验证
param_dict = {'n_neighbors':[3,5,7,9]}
estimator = GridSearchCV(estimator,param_grid=param_dict,cv=10)
estimator.fit(x_train,y_train)
# 5.模型评估
# 1.直接比对真实值和与测试
y_predict = estimator.predict(x_test)
print('y_predict：\n',y_predict)
print('直接比对\n',y_test == y_predict)
# 2.计算准确率
score = estimator.score(x_test,y_test)
print('score:\n',score)
print('最佳参数\n',estimator.best_params_)
print('最佳结果\n',estimator.best_score_)
print('最佳估计器\n',estimator.best_estimator_)
print('交叉验证结果\n',estimator.cv_results_)
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier,export_graphviz
def nb_news():
# 朴素贝叶斯
# 1.获取数据
news = fetch_20newsgroups(subset='all')
# 2.划分数据集
x_train,x_test,y_train,y_test = train_test_split(news.data,news.target)
# 3.特征工程，文本特征抽取 tfidf
tran = TfidfVectorizer()
x_train = tran.fit_transform(x_train)
x_test = tran.transform(x_test)
# 4.朴素贝叶斯预估器流程
estimator = MultinomialNB()
estimator.fit(x_train,y_train)
# 5.模型评估
# 1.直接比对真实值和与测试
y_predict = estimator.predict(x_test)
print('y_predict：\n', y_predict)
print('直接比对\n', y_test == y_predict)
# 2.计算准确率
score = estimator.score(x_test, y_test)
print('score:\n', score)
return None
def tree_iris():
# 决策树对鸢尾花进行分类
# 1.获取数据集
iris = load_iris()
# 2.划分数据集
x_train,x_test,y_train,y_test = train_test_split(iris.data,iris.target,random_state=22)
# 3.决策树预估器
estimator = DecisionTreeClassifier(criterion='entropy')
estimator.fit(x_train,y_train)
# 4.模型评估
# 方法1：
y_predict = estimator.predict(x_test)
print('y_predict:\n',y_predict)
print('真实值和预测值对比',y_predict == y_test)
# 方法2：
score = estimator.score(x_test,y_test)
print('准确率是\n',score)
# 可视化决策树
export_graphviz(estimator,out_file='iris_tree.dot',feature_names=iris.feature_name)
return None
if __name__ == '__main__':
# nb_news()
tree_iris()所用到的数据集是：
http://链接：https://pan.baidu.com/s/1jxkep6SquIgt8J1VN4OoHQ 提取码：pyb6
一共有三个数据集。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
