
机器学习-数据分析
文章平均质量分 98
python
卞亚超
不靠谱的Python程序猿!
展开
-
pip 安装tensorflow时遇到的问题
通过pip install tensorflow安装时遇到一些问题,现已解决,分享出来,希望对大家都有帮助。另外,也谢谢我搜到的博客博主的分享问题1:Cannot uninstall 'wrapt'. It is a distutils installed project and thus we cannot accurately determine which files belong...原创 2019-10-21 16:34:50 · 1625 阅读 · 1 评论 -
TensorFlow(1)-- 图、会话
tensorflow现在已经更新到2.0,学习时还是使用的1.0的版本,之后更新的所有代码都是版本1.0上写的。环境:tensorflow1.0、python3.6tensorflow数据流图:import tensorflow as tftensorflow-图 图默认已经注册,一组表示tf.Openration计算单位的对象和tf.Tensor表示操作之间流动的数据单元的对象 获取调用: tf.get_default_graph() op、sess或者tens.原创 2020-05-17 19:38:56 · 285 阅读 · 0 评论 -
TensorFlow(2)-- 张量、变量
import tensorflow as tfTensorFlow -- 张量张量的阶:张量的数据类型:张量属性graph 张量所属的默认图 op 张量的操作名 name 张量的字符串描述 shape 张量的形状张量的动态形状与静态形状TensorFlow中,张量具有静态形状和动态形状 静态形状: 创建一个张量,初始状态的形状tf.Tensor.get_shape:获取静态形状 tf.Tensor.set_sh...原创 2020-05-22 21:18:19 · 465 阅读 · 0 评论 -
Python数据分析与挖掘实战-基础篇总结(一)
目录1、数据挖掘基础1.1 数据挖掘的基本任务:1.2数据挖掘建模过程:1.3常用的数据挖掘建模工具2、python数据分析简介2.1 python环境搭建2.2 python数据分析第三方库2.2.1 Numpy基本操作2.2.2 Pandas简单例子3、数据探索3.1 数据质量分析3.1.1 缺失值分析3.1.2 异常值分析3.1.3 一致性分析3.2 数据特征分析3.2.1 分布分析3.2.2 对比分析3.2.3 统计量分析.原创 2020-08-16 22:31:54 · 4425 阅读 · 1 评论 -
sklearn学习笔记(12)—— 聚类K-means
K-means原理K-means步骤随机设置K个特征空间内的点作为初始的聚类中心 对去其他每个点计算到K个中心的距离,未知的点选择最近的一个聚类中心作为标记类别 接着对着标记的聚类中心之后,重新计算出每个聚类的新中心点(平均值) 如果计算得出的新中心点与原中心点一样,那么结束,否则重新进行第二步过程K-means性能评估指标轮廓系数计算公式:注:对于每个点i为已聚类...原创 2020-04-23 17:19:06 · 565 阅读 · 0 评论 -
sklearn学习笔记(11)——分类算法-逻辑回归
逻辑回归sigmoid函数:逻辑回归公式:逻辑回归损失函数:与线性回归原理相同,但由于是分类问题,损失函数不一样,只能通过梯度下降求解对数似然损失函数:完整的损失函数:注:cost损失的值越小,那么预测的类别准确度越高sklearn逻辑回归API:sklearn.linear_model.LogisticRegressionLog...原创 2020-04-23 16:43:46 · 323 阅读 · 0 评论 -
sklearn学习笔记(10)——模型的保存和加载
sklearn模型的保存和加载API:sklearn.externals.joblib模型保存:joblib.dump(rf, "test.pkl")模型加载:estimator = joblib.load("test.pkl")# -*- coding: utf-8 -*-from sklearn.linear_model import LinearRegressionf...原创 2020-04-23 16:05:26 · 599 阅读 · 0 评论 -
sklearn学习笔记(8)——线性回归
线性关系模型一个通过属性的线性组合来进行预测的函数:线性回归定义: 线性回归通过一个或者多个自变量与因变量之间进行建模的回归分析。其中可以为一个或多个自变量之间的线性组合(线性回归的一种)一元线性回归:涉及到的变量只有一个多元线性回归:涉及到的变量两个或两个以上最小二乘法损失函数(误差大小)总损失定义:又称,最小二乘法yi为第...原创 2020-04-22 21:07:43 · 507 阅读 · 0 评论 -
sklearn学习笔记(7)——决策树、随机森林
认识决策树决策树思想的来源非常朴素,程序设计中的条件分支结构就是if-then结构,最早的决策树就是利用这类结构分割数据的一种分类学习方法。信息熵,在1948年由克劳德·艾尔伍德·香农提出,解决对信息的量化度量问题信息增益,特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下的D的信息条件熵H(D|A)之差,即公式为:注:信息增益表示得知特...原创 2020-04-21 17:14:46 · 651 阅读 · 0 评论 -
sklearn学习笔记(6)——朴素贝叶斯算法
概率基础概率的定义为一件事情发生的可能性联合概率和条件概率联合概率:包含多个条件,且所有条件同时成立的概率 记作:P(A,B); P(A,B) = P(A)P(B)条件概率:就是事件A在另外一个事件B已经发生条件下的发生概率 记作:P(A|B) 特性:P(A1,A2...原创 2020-04-20 22:26:56 · 352 阅读 · 0 评论 -
sklearn学习笔记(5)——机器学习算法分类、K-近邻算法
机器学习算法分类监督学习(预测):可以有输入数据中学到或建立一个模型,并以此模型推测新的结果。输入数据是由输入特征值和目标值所组成。函数的输出可以是一个连续的值(称为回归),或是输出是有限个离散值(称作分类)。分类:K-近邻算法、贝叶斯分类、决策树与随机森林、逻辑回归、神经网络回归:线性回归、岭回归标注:隐马尔可夫模型无监督学习:可以有输入数据中学到或建立一个模型,并以此模型推...原创 2020-04-20 15:41:17 · 394 阅读 · 0 评论 -
sklearn学习笔记(4)——sklearn数据集
sklearn数据集API介绍获取数据集返回的类型数据集划分机器学习一般的数据集会划分为两个部分:(1)训练数据,用于训练,构建模型(2)测试数据,在模型检验时使用,用于评估模型是否有效sklearn数据集划分API:from sklearn.model_selection import train_test_splitsklearn机器学习算法...原创 2020-04-19 20:53:23 · 234 阅读 · 0 评论 -
sklearn学习笔记(3)——特征降维之特征选择方法、主成分分析
1、特征选择特征选择原因?冗余:部分特征的相关度高,容易消耗计算性能噪声:部分特征对预测结果有影响特征选择是什么?特征选择就是单纯的从提取到的所有特征中选择部分特征作为训练集特征,特征在选择前和选择后可以改变值、也可不改变值,但是选择后的特征维数肯定比选择前小,毕竟我们只选择了其中的一部分特征。主要方法(三大武器)Filter(过滤式):VarlanceThreshol...原创 2020-04-18 23:40:07 · 885 阅读 · 0 评论 -
sklearn学习笔记(2)——特征预处理归一化和标准化
数据的特征预处理特征处理:通过特定的统计方法(数学方法)将数据转换成算法要求的数据特征处理的方法数值型数据:归一化、标准化、缺失值类别型数据:one-hot编码时间类型:时间的切分sklearn特征处理API:sklearn.preprocessing归一化特点:通过对原始数据进行变换,把数据映射到(默认[0, 1])之间归一化API:sklearn.prepr...原创 2020-04-17 22:07:07 · 1007 阅读 · 0 评论 -
sklearn学习笔记(1)——特征抽取
SKlearn简介scikit-learn,又写作sklearn,是一个开源的基于python语言的机器学习工具包。,它通过NumPy, SciPy和Matplotlib等python数值计算的库实现高效的算法应用,并且对常用的机器学习方法进行了封装,包括回归(Regression)、降维(Dimensionality Reduction)、分类(Classfication)、聚类(Cluste...原创 2020-04-16 15:25:43 · 353 阅读 · 0 评论 -
Python环境及IDE
Python环境Anaconda:是一个科学计算软件发行版,集成了大量常用扩展包的环境,包含了 conda、Python 等 180 多个科学计算包及其依赖项,并且支持所有操作系统平台。下载地址:https://www.continuum.io/downloadsIDEJupyter Notebook:命令:jupyter notebookAnaconda自带,无需单独安装如果没有...原创 2019-11-26 11:54:10 · 399 阅读 · 0 评论