- 博客(78)
- 收藏
- 关注
RSS订阅原创 windows下安装TensorFlow，镜像，速度快
安装TensorFlowpip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ --upgrade tensorflow==1.14.0如果显示超时，就添加镜像conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/这个是中科大的conda config –-add channels https://mirrors.ustc.
2020-08-23 09:07:21
438
原创 机器学习算法——XGBoost
1.创新点主要创新点：设计和构建高度可扩展的端到端提升树系统。提出了一个理论上合理的加权分位数略图（weighted quantilesketch ）来计算候选集。引入了一种新颖的稀疏感知算法用于并行树学习。 令缺失值有默认方向。提出了一个有效的用于核外树形学习的缓存感知块结构。 用缓存加速寻找排序后被打乱的索引的列数据的过程。链接：https://www.jianshu.com/p/a62f4dce3ce82.原理XGBoost使用了和CART回归树一样的想法，利用贪婪算法，遍历所有
2020-07-10 13:37:51
817
原创 ML算法基础——分类算法-逻辑回归
文章目录1.逻辑回归1.1 逻辑回归简介1.2 逻辑回归与线性回归的区别与联系1.3 逻辑回归公式1.4 逻辑回归的损失函数、优化2.逻辑回归案例2.1 sklearn逻辑回归API2.2 良／恶性乳腺癌肿瘤预测案例3.LogisticRegression总结1.逻辑回归1.1 逻辑回归简介逻辑回归（Logistic Regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某种事物的可能性。比如某用户购买某商品的可能性，某病人患有某种疾病的可能性，以及某广告被用户点击的可
2020-06-09 15:11:09
598
原创 ML算法基础——回归算法-线性回归分析
文章目录1.回归问题1.1 线性模型1.2 线性回归1.3 损失函数(误差大小)1.4 sklearn线性回归正规方程、梯度下降API1.5 波士顿房价数据案例分析1.6 回归性能评估1.7 LinearRegression与SGDRegressor评估2.过拟合与欠拟合2.1 概念2.2 欠拟合原因以及解决办法2.3 过拟合原因以及解决办法2.4 L2正则化2.5 带有正则化的线性回归-Ridge2.6 LinearRegression与Ridge对比1.回归问题1.1 线性模型试图学得一个通过属性
2020-06-04 11:26:06
989
原创 ML算法基础——分类算法-决策树、随机森林
文章目录1.决策树1.1 认识决策树1.2 信息论基础-银行贷款分析1.2.1 信息论基础-信息熵1.2.2 决策树的划分依据之一-信息增益1.3 泰坦尼克号乘客生存分类1.3.1 sklearn决策树API1.3.2 泰坦尼克号乘客生存分类模型1.4 决策树的结构、本地保存1.4.1 导出DOT格式1.4.2 安装graphviz1.4.3 运行命令1.5 决策树的优缺点以及改进2.集成学习方法-随机森林2.1 随机森林简述2.2 集成学习API2.3 泰坦尼克号乘客生存分类分析2.4 随机森林的优点1
2020-05-31 20:35:14
688
原创 ML算法基础——分类算法（朴素贝叶斯）
文章目录朴素贝叶斯算法1、概率基础2、朴素贝叶斯介绍3.朴素贝叶斯算法案例3.1 sklearn朴素贝叶斯实现API3.2 sklearn-20类新闻分类3.3 朴素贝叶斯案例流程4.朴素贝叶斯分类特点总结朴素贝叶斯算法1、概率基础联合概率:包含多个条件，且所有条件同时成立的概率记作: P(A, B)条件概率:就足事件A在另外一个事件B已经发生条件下的发生概率记作:P(A|B)特性: P(A1,A2|B)= P(A1|B)P(A2|B)注意:此条件概率的成立，是由于A1,A2相互独立的结果
2020-05-31 20:33:25
539
原创 ML算法基础——分类模型评估与调参
文章目录一、分类模型评估1.准确率2.精确率和召回率2.1 混淆矩阵2.2 精确率(Precision)与召回率(Recall)2.3 分类模型评估API2.4 贝叶斯模型评估实例二、模型的选择与调优1、交叉验证2、网格搜索2.1 超参数搜索-网格搜索API2.2 knn实例测试网格搜索一、分类模型评估1.准确率estimator.score()一般最常见使用的是准确率，即预测结果正确的百分比2.精确率和召回率2.1 混淆矩阵在分类任务下，预测结果(Predicted Condition)与正
2020-05-31 20:30:12
1095
1
原创 ML算法基础——分类算法（k近邻算法）
文章目录1.k近邻算法(KNN)概述2.sklearn k-近邻算法API3.实例流程3.1 鸢尾花分类3.2 Facebook V: Predicting Check Ins | Kaggle4.k-近邻算法优缺点1.k近邻算法(KNN)概述定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。来源：KNN算法最早是由Cover和Hart提出的一种分类算法如何计算距离？两个样本的距离可以通过如下公式计算，又叫欧式距离比如说，a(
2020-05-28 19:06:46
607
原创 ML算法基础——特征工程（降维案例）
降维案例（Instacart Market Basket Analysis）文章目录降维案例（Instacart Market Basket Analysis）1.探究问题2.数据集的描述3.问题分析4.合并数据4.1 合并各张表到⼀张表当中4.2 建⽴⼀个交叉表4.3 memoryerror4.4 主成分分析1.探究问题用户对物品类别的喜好细分降维2.数据集的描述原网址：https://www.kaggle.com/c/instacart-market-basket-analysis/data
2020-05-25 17:45:25
447
原创 ML算法基础——特征工程（特征处理、降维）
文章目录1. 数据的特征处理1.1 概述1.2 归一化（MinMaxScaler语法）1.2.1 概述1.2.2 sklearn归一化API（MinMaxScaler）1.3 标准化（StandardScaler语法）1.3.1 概述1.3.2 sklearn特征化API（StandardScaler）1.4 缺失值处理1.4.1缺失值处理方法1.4.2 sklearn缺失值API(Imputer)1.4.3 关于np.nan(np.NaN)2.数据降维2.1 数据的特征选择2.1.1 概述2.1.2 s
2020-05-24 09:47:23
395
原创 ML算法基础——概述、特征工程（特征抽取）
文章目录1、机器学习概述2、数据来源与类型3、数据的特征工程3.1 特征工程概况3.2 scikit-learn库介绍3.4 数据的特征抽取3.4.1 特征抽取实例演示3.4.2 sklearn特征抽取API3.4.3 字典特征抽取（特征值化、one-hot编码）3.4.4 文本特征抽取（特征值化、jieba、TF-IDF）1、机器学习概述**什么是机器学习 **机器学习是从数据中自动分析获得规律（模型），并利用规律对未知数据进行预测为什么需要机器学习解放生产力(智能客服)解决专业问题(ET医
2020-05-22 21:49:27
711
原创 数据科学包——pandas基础（核心数据结构）
文章目录一、Series1.创建1.1 从 ndaray 创建1.2 从字典创建1.3 从标量创建2.Series对象2. Series 是类 ndarray 对象2.2 Series 是类字典对象3.标签对齐操作4.name属性二、DataFrame1.创建1.1 从字典创建1.2 从结构化数据中创建1.3 从字典列表创建1.4 从元组字典创建1.5 从 Series 创建2.列选择/增加/删除...
2020-05-07 22:13:02
402
原创 运行时出现错误AttributeError: 'NoneType' object has no attribute 'format'
运行时出现如下的报错import pandas as pdimport numpy as npprint("Missing required dependencies {values}"）.format(values = ['aaa', 'bbb'])AttributeError: 'NoneType' object has no attribute 'format'.format必...
2020-05-07 17:07:06
7341
5
原创 数据科学包——pandas基础（整形、透视、时间序列、类别）
文章目录一、数据整形（stack函数）二、数据透视表（pivot table）三、时间序列1.时间序列2.在不同的时间表达方式间转换2.1 时间戳转为时期 to_period()函数2.2 时期转为时间戳 to_timestamp()函数2.3 返回固定频率的周期索引 period_range()函数2.4 series索引四、类别数据1.astype函数2.排序（sort_values()）3....
2020-05-05 20:29:50
486
1
原创 数据科学包——pandas基础（处理丢失数据、统计、合并、分组）
文章目录一、处理丢失数据1.为空值数据赋值2.删除空数据行和列3.填充所有缺失数据4.判断是否有NaN值二、统计1.平均值、求和、累加和2.shift函数3.sub函数4.apply 应用函数5.计数和众数三、数据合并1.concat函数2.SQL 样式的联合查询（merge函数）3.append函数四、分组统计一、处理丢失数据Pandas 使用 numpy.NaN 来表示丢失的数据，它不参与...
2020-05-02 15:00:29
651
2
原创 数据科学包——pandas基础（创建对象、查看和选择数据）
文章目录一、创建数据集对象1.Pandas数据结构Series1.1 普通初始化1.2 指定index1.3 利用字典构造Series1.4 numpy ndarray构建一个Series2.Pandas数据结构DataFrame2.1 普通创建2.2 使用字典来创建二、查看数据三、数据选择1.通过标签选择2.通过位置选择3.布尔索引四、修改数据一、创建数据集对象1.Pandas数据结构Ser...
2020-04-28 21:30:53
313
原创 数据科学包——初识numpy（索引、合并、拷贝）
文章目录五、索引1.简单索引1.1 一维数组1.2 二维数组2.数组作为索引3.bool 索引4.广播特性六、合并与分割1.合并1.1 vstack,hstack1.2 concatenate1.3 增加维度2.分割2.1 split 平均分割2.2 array_split 不均等分割2.3 vsplit,hsplit七、拷贝1.无拷贝2.2 浅拷贝2.3 深拷贝五、索引1.简单索引1.1...
2020-04-27 12:48:46
367
原创 数据科学包——初识numpy（创建、属性、运算）
文章目录一、Numpy简介二、numpy创建数组1.dtype定义格式2.定义矩阵三、numpy属性1.创建一个数组2.查看数组维度3.查看数组类型4.查看数组元素个数四、numpy基础运算1.数组的加减幂乘1.1 加减幂1.2 乘法2.统计数学运算3.其他基础运算3.1 arg***函数3.2 cumsum函数3.3 diff函数3.4 nonzero函数3.5 转置：T、transpose函数...
2020-04-24 13:10:51
204
原创 Linux中的shell编程Ⅳ——for 循环、while循环
文章目录一、for循环1.格式2.举例2.1 逐个打印2.2 十以内整数和二、while循环1.不定循环最常见的两种表达2.while实现逐行读取一、for循环1.格式for var in con1 con2 con3...do 程序段done以上面的例子来说，这个$var的变量内容在循环工作时:第一次循环时，$var的内容为con1 ;第二次循环时，$var的内容为c...
2020-04-20 21:22:11
211
原创 Linux中的shell编程Ⅲ——判断表达式及if语句使用
文章目录一、判断1.符号说明1.1 关于某个档名的`文件类型`判断1.2 关于档案的权限侦测1.3 关于两个整数之间的判定1.4 判定字符串的数据2.判断符号“[]”二、if 判断1.单层、简单条件判断式2.多重、复杂条件判断式一、判断1.符号说明1.1 关于某个档名的文件类型判断如test -e filename表示存在否符号说明-e该档名是否存在? (常用)...
2020-04-20 20:31:46
2040
原创 Linux中的shell编程Ⅱ——位置参数、数组、date和cal
文章目录一、位置参量1.简介2.位置参量列表3.传递位置参数4.退出码二、数组1.数组定义与初始化2.数组的引用与赋值3.试验三、date和cal命令1.date 命令1.1 获取时间1.2 格式化输出1.3 利用date指令来取得所需要的档名2.cal命令一、位置参量1.简介位置参量是一组特殊的内置变量，通常被shell脚本用来从命令行接受参数，或被函数用来保存传递给它的参数。执行sh...
2020-04-20 16:30:02
559
原创 Linux中的shell编程Ⅰ——变量的声明、引用及作用域
文章目录一、shell编程二、Shell程序三、变量1.变量命名2.变量类型3.变量赋值3.1 赋值注意事项3.2 显示变量的值3.3 清除变量3.4 显示所有变量4.环境变量一、shell编程以文件形式存批量的Linu命令集合，该文件能够被Shell解释执行，这种文件就是Shell脚本程序。通常由一段Linx命令、Shell命令、 控制语句以及注释语句构成Shell脚本的编写Sh...
2020-04-20 10:34:18
387
原创 Linux系统管理Ⅲ——Linux自带定时调度crontab的使用
文章目录一、crond简介二、crontab命令详解1．命令格式：2．命令功能：3．命令参数：三、crontab 常用方法1.创建定时任务2.crontab语法说明linux 系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另 外, 由于使用者自己也可以设置计划任务，所以， Linux 系统也提供了使用者控...
2020-04-19 10:04:23
292
原创 Linux系统管理Ⅱ——设置普通用户的sudo权限、禁用SELinux
文章目录1.什么是sudo权限2.设置普通用户的sudo权限2.1 进入root用户，打开sudoers文件2.2 修改sudoers文件2.3 测试3.扩展—防火墙设置4.Linux下如何临时或永久禁用SELinux1.什么是sudo权限sudo是Linux系统管理指令，是允许系统管理员让普通用户执行一些或者全部root命令的一个工具。Linux系统下，为了安全，一般来说我们操作都是在普通用...
2020-04-18 15:32:33
2053
原创 Linux系统管理Ⅰ——磁盘管理（2）
文章目录4.Linux fsck命令4.1 简介4.2 命令参数5.挂载和mount命令5.1 什么是挂载5.2 mount命令6.卸载和umount命令6.1 linux umount命令6.2 卸载方式7.linux安装软件的几种方法7.1 rpm包安装方式步骤7.2 deb包安装方式步骤7.3 tar.gz源代码包安装方式：7.4 tar.bz2源代码包安装方式7.5 apt方式安装：（安装...
2020-04-18 13:56:56
159
原创 Linux系统管理Ⅰ——磁盘管理（1）
文章目录1. df（disk filesystem）命令1.1 df -h命令1.2 df -i命令1.3 df -k/m命令2. du（disk useage）命令2.1 du -a命令2.2 du -[bkmh]命令2.3 du -s命令3.linux磁盘分区与fdisk命令3.1 什么是分区？3.2 分区的优点？3.3 fdisk命令1. df（disk filesystem）命令用于查...
2020-04-17 19:51:27
382
原创 Linux基础命令Ⅲ——目录的创建删除
文章目录一、目录的创建1. mkdir 创建目录2.创建多个目录3.删除目录二、进入目录1.cd命令介绍2.cd命令的使用2.1 语法2.2 实例一、目录的创建1. mkdir 创建目录Mkdir 是一个用来在 Linux 系统下创建目录的命令。可以在你的控制台直接键入 mkdir 来使用它。默认情况下，不带任何参数运行 mkdir 命令会在当前目录下创建目录。示例：[jingkong@...
2020-04-16 17:58:30
728
原创 Linux基础命令Ⅱ——文件的创建、删除、移动
文章目录一、文件的创建、编辑和查看1.创建方式1.1 使用touch命令1.2 使用vi/vim方式2.对文件内容追加3.vi编辑快捷键4.查看文件内容的几种常见方式二、文件的拷贝、移动、重命名、删除1.拷贝2.移动或者重命名2.1 语法:2.2 重命名：2.3 移动3.rm删除操作3.1 简介3.1 选项3.2 实例一、文件的创建、编辑和查看1.创建方式1.1 使用touch命令touc...
2020-04-16 17:57:46
169
原创 Linux基础命令Ⅰ——文件类型、权限命令
文章目录一、文件类型、权限、所属用户与组详细讲解1.文件类型1.1普通文件类型1.2目录文件类型(类似win下的文件夹)1.3链接文件(类似Win下的快捷方式)2.文件权限及归属2.1 权限分类2.2 归属2.3 权限数字表示方法2.4 举例说明二、权限命令chmod1.简介3.使用说明3.1 权限范围：3.2 权限代号：3.3 用法3.4 修改文件权限3.5 修改目录权限3.6 扩展_改变文件拥...
2020-04-16 17:56:51
243
原创 Linux基本环境及远程软件安装
文章目录一、安装Linux1.安装前准备工作（1）VMWare虚拟机软件（2）Linux最受欢迎的分支2.我踩过的坑（1）VMware下安装centos6.7的步骤（2）此主机支持 Intel VT-x,但 Intel VT-x 处于禁用状态（3）linux虚拟机网络配置（Centos6.5）二、初步了解Linux环境1.重新开启虚拟机，登录2.# 和$3.在Linux系统下,查看Ip地址命令三、...
2020-04-15 12:17:31
819
原创 数据库Ⅸ——MySQL中的运算符（算术、比较、逻辑）
文章目录一、算术运算符1.总结2.测试- 加、减、乘、除（DIV）- 取余：% 、MOD-NULL参加运算二、比较运算符1.总结2.测试- <,>,=,!=- 判断 NULL 必须用 <=> 或IS- BETWEEN AND- LIKE/NOT LIKE- REGEXP正则匹配三、逻辑运算符1.总结2.测试- &&、||- !/NOT- XOR 异或一、算...
2020-04-10 20:02:21
1725
原创 数据库Ⅶ——子查询相关内容
文章目录一、什么是子查询?二、引发子查询的情况?1.使用[NOT]IN的子查询2.使用比较运算符的子查询测试：查询获得1等奖学金的学员3.使用[NOT]EXISTS的子查询4.使用ANY|SOME或者ALL的子查询(1)测试ANY|SOME、ALL(2)'=ANY' 相当于IN(3)'<> ALL'相当于NOT IN三、将查询结果写入到数据表四、建数据表同时将查询结果写入到数据表一、...
2020-04-09 21:51:50
158
原创 数据库Ⅵ——连接查询（外键、联合查询）
文章目录一、外键的介绍二、测试外键1.首先尝试内连接方式2.内连接的局限性3.外键的使用（1）加入外键 FOREIGN KEY（2）直接删除主表记录失败（3）先对子表进行操作（4）测试插入错误数据三、外键的添加删除1.删除外键2.添加外键3.测试 CASCADE4.测试 SET NULL四、联合查询1.简介2.测试 UNION3.测试 UNION ALL4.字段个数需匹配一、外键的介绍外键是...
2020-04-09 21:50:20
1551
原创 数据库Ⅵ——连接查询（内、外连接查询）
文章目录一、什么是连接查询?二、内连接查询1.简介2.测试内连接查询（1）通过=链接（2）通过 JOIN|CROSS JOIN| INNER JOIN 连接三、外连接查询1.简介2.测试外连接（1）内连接的局限（2）左外连接（3）右外连接一、什么是连接查询?连接查询是将两个或两个以上的表按某个条件连接起来，从中选取需要的数据。连接查询是同时查询两个或两个以上的表时使用的。当不同的表中存在相同意...
2020-04-09 21:49:39
1024
原创 数据库Ⅴ——查询数据操作（2）
文章目录一、ORDER BY对查询结果排序1.升序2.降序3.升序、降序同时使用二、LIMIT限制显示条数1.查询前n条记录2.根据（起始位置，步长）查询记录一、ORDER BY对查询结果排序1.升序按照id降序排列DESC ,默认的是升序ASCSELECT * FROM cms_user ORDER BY id ;SELECT * FROM cms_user ORDER BY id...
2020-04-09 21:48:40
239
原创 数据库Ⅳ——数据的操作
文章目录一、插入数据1.代码实现2.测试代码- 测试单次插入记录- 一次插入多条记录- 通过INSERT SET形式插入记录- 将查询结果插入到表中二、更新数据1.代码实现2.测试更新三、删除数据1.代码实现2.测试删除3.DELETE 与 TURNCATE的区别一、插入数据1.代码实现不指定具体的字段名：INSERT [INTO] tbl_name VALUES|VALUE(值......
2020-04-08 09:25:18
192
原创 数据库Ⅴ——查询数据操作（1）
文章目录一、查询记录二、查询表达式1.测试查询（1）查询（2）为表、字段️起别名三、WHERE 条件1.简介2.带WHERE条件的查询（1）WHERE条件（2）BETWEEN、IN 的用法3.模糊查询（1）简介（2）测试模糊查询4.分组查询5.分组查询配合聚合函数6.having语句对分组结果进行二次筛选一、查询记录SELECT select_expr [, select expr ..][...
2020-04-07 21:44:54
416
原创 数据库Ⅲ（2）——修改表结构
文章目录一、语法二、测试修改表结构1.重命名数据表2.添加和删除字段- 单次添加操作- 多次添加操作- 删除操作- 同时添加删除3.修改字段- MODIFY- CHANGE4.添加删除默认值5.添加删除主键6.添加删除唯一7.修改表的存储引擎为MyISAM8.修改自增长值9.删除数据表一、语法修改表名：ALTER TABLE tbl_name RENAME [TO|AS] new_nam...
2020-04-06 19:25:22
708
原创 数据库Ⅲ（1）——完整性约束条件测试
文章目录完整性约束条件测试完整性约束条件有哪些1.测试主键- 设置一个主键- 设置两个主键2.测试自增长- 初始位置（默认从1开始）- 修改自增长值3.测试非空NOT NULL4.测试默认值DEFAULT5.测试唯一UNIQUE KEY完整性约束条件测试完整性约束条件有哪些PRIMARY KEY 主键AUTO_INCREMENT 自增长FOREIGN KEY 外键NOT NULL 非...
2020-04-06 19:24:10
952
原创 数据库Ⅱ——数据表创建
文章目录一、MySQL存储引擎1.什么是存储引擎?2.如何查看MySQL的存储引擎?3.MySQL常用存储引擎及特点（1）InnoDB（2）MyISAM（3）Memory二、数据表创建1.什么是表?2.如何创建数据表?（1）代码实现（2）完整性约束条件（3）试验：一、MySQL存储引擎1.什么是存储引擎?存储引擎就是指表的类型。数据库的存储类型决定了表在计算机中的存储方式。用户可以根据不同的...
2020-04-04 21:49:03
248
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人