
机器学习
文章平均质量分 93
AI 开发者
支付宝软件工程师
展开
-
机器学习调参——网格搜索调参,随机搜索调参,贝叶斯调参
from sklearn.datasets import load_bostonfrom sklearn.metrics import mean_squared_errorfrom lightgbm import LGBMRegressorimport numpy as np导入数据集boston = load_boston()X,y = boston.data,boston.tar...原创 2020-04-30 20:46:27 · 2939 阅读 · 0 评论 -
解决 Github 加载 ipynb 文件缓慢/失败
在Github上虽然能够直接加载ipynb文件,但是速度很慢,并且容易加载失败。利用https://nbviewer.jupyter.org/ 可以快速加载ipynb文件。##使用方法1.复制要打开的ipynb文件的链接, 例如 https://github.com/Sun-Shuai/ml_in_action_camp/blob/master/1-1203.ipynb。2.截取 Sun...原创 2018-12-04 17:21:43 · 2121 阅读 · 0 评论 -
pandas 删除某行或某列
pandas 提供了两种删除数据的方法:del 和 drop。del 可以删除某列,是原地操作。drop 可以删除某行或某列,可以原地也可以非原地。示例import pandas as pdimport numpy as npx1 = pd.DataFrame(np.asarray([1,2,3,4,5]),columns=['x1'])x2 = pd.DataFrame(np...原创 2020-04-23 20:51:58 · 9908 阅读 · 0 评论 -
可能是最全的机器学习模型评估指标总结
本文参考了 scikit-learn 的官方文档的模型评估章节的部分内容,总结了常用的分类、聚类和回归模型的模型评估指标。目录:分类模型的度量聚类模型的度量回归模型的度量符号定义:yyy:真实值,y^\hat{y}y^:预测值,nnn:样本数一、分类模型的度量1.accuracy(准确率)预测正确的样本占全部样本的比例,公式为:accuracy(y,y^)=1n∑i=0n...原创 2020-04-18 16:04:59 · 9745 阅读 · 7 评论 -
【机器学习】逻辑回归原理介绍
Logistic 回归模型是目前广泛使用的学习算法之一,通常用来解决二分类问题,虽然名字中有“回归”,但它是一个分类算法。有些文献中译为“逻辑回归”,但中文“逻辑”与 logistic 和 logit 的含义相去甚远,因此下文中直接使用 logistic 表示。Logistic 回归的优点是计算代价不高,容易理解和实现;缺点是容易欠拟合,分类精度可能不高。以肿瘤分类为例,我们要预测肿瘤是否为恶性...原创 2019-07-05 21:05:12 · 12756 阅读 · 0 评论 -
【机器学习】逻辑回归python实现
代码:# encoding: utf-8"""@author: suns@contact: sunshuai0518@gmail.com@time: 2019/7/2 8:26 AM@file: logistic_regression.py@desc:"""import numpy as npimport pandas as pdimport matplotlib.pyplo...原创 2019-07-05 21:25:05 · 13021 阅读 · 0 评论 -
【机器学习】逻辑回归sklearn实现
代码:# encoding: utf-8"""@author: suns@contact: sunshuai0518@gmail.com@time: 2019/7/1 3:22 PM@file: logistic_regression_with_sklearn.py@desc:"""from sklearn.model_selection import train_test_sp...原创 2019-07-05 21:26:16 · 16754 阅读 · 1 评论 -
Mac 编译安装 LightGBM
1.安装 CMake (3.12 或更高版本):brew install cmake2.安装 OpenMP:brew install libomp3.运行一下命令:git clone --recursive https://github.com/microsoft/LightGBM ; cd LightGBMmkdir build ; cd build# For Mojave ...原创 2019-07-15 15:59:52 · 808 阅读 · 1 评论 -
启动TensorBoard
tensorboard --logdir='./Graph'原创 2019-04-15 16:17:35 · 186 阅读 · 0 评论 -
Mac OS 配置 tensorflow(基于virtualenv) + pycharm 环境
官方推荐使用 virtualenv 创建一个隔离的容器, 来安装 TensorFlow。这样做能使排查安装问题变得更容易。首先, 安装pip和virtualenv:$ sudo easy_install pip # 如果还没有安装 pip$ sudo pip install --upgrade virtualenv然后,建立一个全新的 virtualenv 环境。将环境建在 ~/...原创 2018-10-03 16:00:57 · 10755 阅读 · 0 评论 -
【机器学习】多项式回归sklearn实现
使用sklearn框架实现多项式回归。使用框架更方便,可以少写很多代码。使用一个简单的数据集来模拟,只有几条数据。代码如果不用框架,需要自己手动对数据添加高阶项,有了框架就方便多了。sklearn 使用 Pipeline 函数简化这部分预处理过程。当 PolynomialFeatures 中的degree=1时,效果和使用 LinearRegression 相同,得到的是一个线性模型,...原创 2019-03-09 21:55:05 · 16094 阅读 · 1 评论 -
数据集label的预处理
代码:# coding:utf-8from sklearn.preprocessing import LabelEncoderfrom keras.utils import np_utils# 7种车的名字y_train = ['Chevrolet', 'Audi', 'Lexus', 'Toyota', 'Maserati', 'Lancia', 'Renault']print...原创 2018-11-15 20:52:09 · 3700 阅读 · 0 评论 -
【机器学习】线性回归原理介绍
通常我们学习机器学习都是从线性回归模型开始的。线性回归模型形式简单、易于建模,但是我们可以从中学习到机器学习的一些重要的基本思想。回归一词的由来:这个术语是英国生物学家兼统计学家高尔顿在1886年左右提出来的。人们大概都注意到,子代的身高与其父母的身高有关。高尔顿以父母的平均身高X作为自变量,其一成年儿子的身高Y为因变量。他观察了1074对父母及其一成年儿子的身高,将所得(X, Y)值标在直...原创 2019-01-17 12:53:13 · 28495 阅读 · 0 评论 -
【机器学习】线性回归python实现
这里使用python实现线性回归,没有使用sklearn等机器学习框架,目的是帮助理解算法的原理。写了三个例子,分别是单变量的、双变量的和多变量的。单变量和双变量的画出了图,多变量的由于高维空间难以实现,所以没有画图。单变量和双变量的使用的自己模拟的一个简单的房价数据集,多变量的使用的boston房价数据集。1.单变量线性回归代码运行结果2.双变量线性回归代码运行结果3...原创 2019-01-17 12:57:34 · 17344 阅读 · 0 评论 -
【机器学习】线性回归sklearn实现
这里使用sklearn框架实现线性回归。使用框架更方便,可以少写很多代码。写了三个例子,分别是单变量的、双变量的和多变量的。单变量和双变量的画出了图,多变量的由于高维空间难以实现,所以没有画图。单变量和双变量的使用的自己模拟的一个简单的房价数据集,多变量的使用的boston房价数据集。1.单变量线性回归代码运行结果2.双变量线性回归代码运行结果3.多变量线性回归代码...原创 2019-01-17 13:07:40 · 16778 阅读 · 0 评论 -
【机器学习】深度学习开发环境搭建
工欲善其事,必先利其器。首先我们需要花费一些时间来搭建开发环境。1.安装python。python是人工智能开发首选语言。2.安装virtualenv。virtualenv可以为一个python应用创建一套隔离的运行环境,避免不同版本的python或第三方库互相影响。类似的虚拟环境还有anaconda,anaconda自带常用库,因此安装包有几百兆,与anaconda相比,virtualenv...原创 2018-11-26 17:59:30 · 29985 阅读 · 0 评论 -
【机器学习】机器学习简介
一、人工智能与机器学习说到人工智能,就不得不提图灵测试。图灵测试是阿兰图灵在1950年提出的一个关于机器是否能够思考的著名实验,测试某机器是否能表现出与人等价或无法区分的智能。主要内容是:测试者与被测试者(一个人和一台机器)隔开的情况下,通过一些装置(如键盘)向被测试者随意提问。 进行多次测试后,如果测试者不能确定出被测试者是人还是机器,那么这台机器就通过了测试,并被认为具有人类智能。通常我们...原创 2018-11-29 20:00:16 · 28062 阅读 · 0 评论 -
【机器学习】多项式回归原理介绍
在上一节中我们介绍了线性回归的原理,然后分别用python和sklearn实现了不同变量个数的线性回归的几个例子。线性回归模型形式简单,有很好的可解释性,但是它只适用于X和y之间存在线性关系的数据集。对于非线性关系的数据集,线性回归不能很好的工作。因此本文介绍线性回归模型的扩展——「多项式回归」,我们可以用它来拟合非线性关系的数据集。假设我们有一个单变量数据集,如下图。为了观察它们之间的关系...原创 2019-03-09 21:42:24 · 20439 阅读 · 0 评论 -
【机器学习】多项式回归python实现
使用python实现多项式回归,没有使用sklearn等机器学习框架,目的是帮助理解算法的原理。使用一个简单的数据集来模拟,只有几条数据。代码从数据集中读取X和y。为X添加二次方项,用Z替换。给Z添加 1 列,初始化为 1 ,用来求偏置项。划分训练集和测试集。将Z和y的训练集转换为矩阵形式。和线性回归类似,使用正规方程法,先验证矩阵的可逆性。去掉Z中全为1的列。使用测试集...原创 2019-03-09 21:52:17 · 17335 阅读 · 0 评论 -
python “from sklearn import datasets”出错
1.错误提示:“ImportError: No module named datasets”。报错原因:你的py文件名是sklearn.py,和库文件名冲突。解决方法:把你的py文件改个名字。2.错误提示:“DLL load failed 找不到指定模块”。报错原因:sklearn和python版本不匹配。解决方法:重装。...原创 2018-10-21 14:24:30 · 14640 阅读 · 7 评论