ITLiu的博客

Surprise内置的智能推荐算法简介

python对象的引用，浅copy与深copy

机场排名

数据集划分-交叉验证

数据分析-RNN-LSTM

目录前言安装jupyterhub安装需求安装JupyterHub配置启动Jupyterhub前言详见：JupyterHub — JupyterHub 2.3.0.dev documentationJupyterHubis the best way to serveJupyter notebookfor multiple users. It can be used in a class of students, a corporate data science ...

前言JupyterLab is the next-generation web-based user interface for Project Jupyter.JupyterLab enables you to work with documents and activities such asJupyter notebooks, text editors, terminals, and custom components in a flexible, integrated, and e...

猫狗大战

损失函数

神经网络-预测保险费用

样本距离度量及python实现

前馈神经网络在前馈神经网络中，每层包含多个神经元，每一层的神经元接受前一层传导的神经元信号，并产生信号输出到下一层。从输入层，经过隐含层（可多层），最后到输出层，整个网络中无反馈，信号从输入层到输出层单向传播。前馈神经网络也被成为多层感知器。tensorflow的实现...

单神经节点为n个输入，为输入对应的权重，b为偏置，f为激活函数。常用的激活函数Sigmoid函数优点具有较好的可解释性输出范围有限单调连续缺点函数饱和，梯度容易消失输出不以0为中心Tanh函数优点比Sigmoid收敛速度快输出以0为中心缺点函数饱和，梯度容易消失ReLU（Rectified Linear Units）函数...

BP神经网络案例

特征联合

目录前言矩阵分解法主成分分析（PCA）实现 decomposition.PCA 判别分析法（LDA）实现基于流形学习的数据降维方法LLELLE实现MDSMDS实现前言降维指采用某种映射方法，将高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : w->v，其中w是原始数据点的表达，目前最多使用向量表达形式。 v是数据点映射后的低维向量表达，通常v的维度小于w的维度。原始数据在采集时可能包含了很高的维度，降...

流水线

PageRank实现

关联规则-apriori实现

目录前言过滤式方差选择法卡方检验法相关系数检验法包裹式嵌入式前言特征选择是从全部特征中选取一个特征子集来建立模型，通过降低特征维度，提高模型性能。通常保留与目标特征相关性高的特征，剔除包含信息较少（方差较低）的特征。特征选择的方法有：过滤式先进行特征选择，再建立模型，特征选择的过程中不涉及建模。如方差选择法，卡方检验法，相关系数法。包裹式建立模型并给定评价标准，选择效果最优的特征子集。如递归特征消除法。嵌入式特征选择与模型训练..

参数调优

交叉验证

@神经网络-波士顿房价-数据分析-入门20 导入必要的包import pandas as pdfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import r2_scorefrom sklearn.metrics import mean_squared_errorimport tensorflow as tf1 加载数据data = pd.read_csv(“d:/datasets/Housin

集成模型

分类评价-PR与ROC曲线

anaconda是常用的python虚拟环境管理工具

聚类案例

分类案例

数据分析聚类

@数据分析-分类-案列-糖尿病数据集Sklearn中分类的模块主要有：决策树分类： tree.DecisionTreeClassifierK近邻分类： neighbors.KNeighborsClassifierBernoulli 贝叶斯： naive_bayes.BernoulliNBGaussian 贝叶斯： naive_bayes.GaussianNB多项式贝叶斯：naive_bayes.MultinomialNB支持向量分类器：svm.SVC 支持向量分类器线性支持向量分类器：s

分类是一种典型的有监督学习问题

数据来源：boston-housing-dataset目录1、目标2、数据集介绍3、代码3.1 导入必须的工具包3.2 导入数据3.3 数据探索3.4 数据集划分3.5 模型构建3.6评价1、目标根据历史房价数据建立回归模型，预测不同类型房屋的价格。2、数据集样本数：10000特征数量： 13个相关属性（即13个指标变量），1个目标变量（房价）。特征 说明CRIM 城镇人均犯罪率ZN 大于25,000平方英尺的地块划分为住宅用地的.

@回归回归(Regression)这一概念最早由英国生物统计学家高尔顿和他的学生皮尔逊在研究父母亲和子女的身高遗传特性时提出“子女的身高趋向于高于父母的身高的平均值，但一般不会超过父母的身高。”-- 《遗传的身高向平均数方向的回归》如今，我们做回归分析时所讨论的“回归”和这种趋中效应已经没有任何瓜葛了，它只是指源于高尔顿工作的那样——用一个或多个自变量来预测因变量的数学方法。在一个回归模型中，我们需要关注或预测的变量叫做因变量，我们选取的用来解释因变量变化的变量叫做自变量。1、回归算法线性回归

@数据预处理代码数据集来源：https://www.kaggle.com/artemskakun/snsdata无标签数据1、导包import pandas as pdimport numpy as npfrom pandas import cut #等距离散化from pandas import qcut #等频离散化from sklearn.preprocessing import Binarizer #二值化from sklearn.impute import SimpleIm

@数据分析预处理离群值检测回归3σ法样本x和样本均值μ之间的距离，而且这个距离以标准差σ为单位进行计算：Z-score(x)=(x-μ)/σ得到样本的Z-score值后，通常将满足条件|Z-score(x)|>3的样本视为离群值称为3σ法。箱线图是检验样本数据中异常值的常用方法,与3σ法不同,箱形图法既可以用作服从正态分布样本数据异常值判断,也可以用作不服从正态分布样本数据异常值判断，适用范围广。箱线图由最大值、上四分位数（Q3）、中位数（Q2）、下四分位数（Q1）和最小值五个统计量

特征编码1、OneHotEncodersklearn.preprocessing.OneHotEncoderpreprocessing.OneHotEncoder(n_values=‘auto’, #‘auto’，int或int数组，每个特征的取值个数。categorical_features=‘all’, #指定将哪些功能视为分类dtype=<class ‘numpy.float64’>, #期望的输出类型sparse=True, #如果设置为True将返回稀疏矩阵，否则

标准化数据分析及建模过程中，许多机器学习算法需要其输入特征为标准化形式。例如，SVM算法中的RBF核函数，线性模型中的𝑙1、𝑙2正则项，目标函数往往假设其特征均值在0附近且方差齐次；若样本的特征之间的量纲差异太大，样本之间相似度评估结果将存在偏差。常见数据标准化方法：Z-Score标准化Min-Max标准化1、Z-Score标准化sklearn.preprocessing.StandardScalerpreprocessing.StandardScaler(copy=True, #如果为

@数据预处理

线性回归入门