sklearn dataset模块学习

最新推荐文章于 2024-09-24 15:54:41 发布
最新推荐文章于 2024-09-24 15:54:41 发布
阅读量385 收藏 3
点赞数
原

sklearn dataset模块学习

2017年06月25日 14:05:51 阅读数：8740

sklearn.datasets模块主要提供了一些导入、在线下载及本地生成数据集的方法，可以通过dir或help命令查看，我们会发现主要有三种形式：load_<dataset_name>、fetch_<dataset_name>及make_<dataset_name>的方法

① datasets.load_<dataset_name>：sklearn包自带的小数据集


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     In [
     
     2]: datasets.load_*?
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.load_boston
     
     #波士顿房价数据集
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.load_breast_cancer
     
     #乳腺癌数据集
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.load_diabetes
     
     #糖尿病数据集
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.load_digits
     
     #手写体数字数据集
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.load_files
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.load_iris
     
     #鸢尾花数据集
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.load_lfw_pairs
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.load_lfw_people
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.load_linnerud
     
     #体能训练数据集
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.load_mlcomp
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.load_sample_image
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.load_sample_images
    
    
    
   
   
  14. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.load_svmlight_file
    
    
    
   
   
  15. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.load_svmlight_files

数据集文件在sklearn安装目录下datasets\data文件下


②datasets.fetch_<dataset_name>：比较大的数据集，主要用于测试解决实际问题，支持在线下载


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     In [
     
     3]: datasets.fetch_*?
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.fetch_20newsgroups
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.fetch_20newsgroups_vectorized
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.fetch_california_housing
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.fetch_covtype
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.fetch_kddcup99
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.fetch_lfw_pairs
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.fetch_lfw_people
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.fetch_mldata
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.fetch_olivetti_faces
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.fetch_rcv1
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.fetch_species_distributions

下载下来的数据，默认保存在~/scikit_learn_data文件夹下，可以通过设置环境变量SCIKIT_LEARN_DATA修改路径，datasets.get_data_home()获取下载路径


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     In [
     
     5]: datasets.get_data_home()
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     Out[
     
     5]: 
     
     'G:\\datasets'

③datasets.make_*?：构造数据集


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     In [
     
     4]: datasets.make_*?
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_biclusters
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_blobs
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_checkerboard
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_circles
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_classification
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_friedman1
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_friedman2
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_friedman3
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_gaussian_quantiles
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_hastie_10_2
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_low_rank_matrix
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_moons
    
    
    
   
   
  14. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_multilabel_classification
    
    
    
   
   
  15. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_regression
    
    
    
   
   
  16. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_s_curve
    
    
    
   
   
  17. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_sparse_coded_signal
    
    
    
   
   
  18. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_sparse_spd_matrix
    
    
    
   
   
  19. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_sparse_uncorrelated
    
    
    
   
   
  20. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_spd_matrix
    
    
    
   
   
  21. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     datasets.make_swiss_roll
下面以make_regression()函数为例，首先看看函数语法：

make_regression(n_samples=100, n_features=100, n_informative=10, n_targets=1, bias=0.0, effective_rank=None, tail_strength=0.5, noise=0.0, shuffle=True, coef=False, random_state=None)

参数说明：

n_samples：样本数

n_features：特征数(自变量个数)

n_informative：相关特征(相关自变量个数)即参与了建模型的特征数

n_targets：因变量个数

bias：偏差(截距)

coef：是否输出coef标识


 
 
  1. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     In [
     
     7]: data = datasets.make_regression(
     
     5,
     
     3,
     
     2,
     
     2,
     
     1.0,coef=
     
     True)
    
    
    
   
   
  2. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
        ...: data
    
    
    
   
   
  3. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
        ...:
    
    
    
   
   
  4. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     Out[
     
     7]:
    
    
    
   
   
  5. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
     (array([[
     
     -0.64470031,  
     
     2.24028402, 
     
     -2.26147027],
    
    
    
   
   
  6. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             [
     
     -0.09554589,  
     
     1.4653344 , 
     
     -0.8882202 ],
    
    
    
   
   
  7. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             [
     
     -1.36214673,  
     
     0.08935031,  
     
     0.66733545],
    
    
    
   
   
  8. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             [
     
     -1.30553824,  
     
     1.62553382,  
     
     0.65693763],
    
    
    
   
   
  9. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             [
     
     -0.81528358,  
     
     0.81659886,  
     
     1.32412053]]),
    
    
    
   
   
  10. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
      array([[ 
     
     177.32114822,  
     
     -42.34640341],
    
    
    
   
   
  11. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             [ 
     
     127.51997766,   
     
     -1.98105497],
    
    
    
   
   
  12. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             [ 
     
     -37.82547178, 
     
     -104.69214796],
    
    
    
   
   
  13. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             [ 
     
     100.19123506,  
     
     -95.62163254],
    
    
    
   
   
  14. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             [  
     
     45.35860387,  
     
     -59.94143654]]),
    
    
    
   
   
  15. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
      array([[ 
     
     34.3135368 ,  
     
     77.79161196],
    
    
    
   
   
  16. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             [ 
     
     88.57943632,   
     
     3.03795085],
    
    
    
   
   
  17. 
   
   
    
    
    
    
   
   
    
   
   
    
    
    
    
     
             [  
     
     0.        ,   
     
     0.        ]]))
上述输出结果：元组中的三个数组分别对应输入数据X，输出数据y，coef对应数组





Ivan王12138
关注
【Python机器学习】sklearn.datasets回归任务数据集
Mr数据杨
10-20 1518
本文深入探讨了模块中用于回归任务的数据集，每个数据集都有其特定的用途和特点。从预测加州的房价到分析糖尿病进展，再到体育锻炼与生理指标的关系，这些数据集提供了丰富的场景来应用和测试回归模型。同时通过OpenML平台，读者还有机会接触到更多种类和领域的数据集，进一步拓宽应用范围。具体到每个数据集，文章提供了易于理解的描述、详细的数据结构和简单的Python实用案例，旨在帮助读者更好地理解如何利用这些数据集进行回归分析。这些数据集不仅适用于回归任务，还常被用作分类任务的基础。
sklearn（二）----强大的数据库
zhouguangfei0717的博客
08-20 388
sklearn 的数据在： http://scikit-learn.org/stable/datasets/ （里面有很多数据） load.什么都是已经有的数据。可以直接用 sklearn还有有个强大的功能，可以生成数据 回归的生成例子： sklearn.datasets.make_regression(n_samples=100, n_features=100, n_informati
【机器学习手册】【2】熟悉sklearn，加载数据集，完整
痛苦的时候装出幸福相，这不是那么难做到的事
10-28 5031
前言 这篇依然没有涉及什么高深的原理，仅仅是上手练习的一些东西。 加载样本 import numpy as np from scipy import sparse from sklearn import datasets #加载手写数字的数据集 digits_set = datasets.load_digits() #创建特征矩阵 features_matrix = digits_set.data #创建目标向量 target_vector = digits_set.target #查看第一个
机器学习实战入门 sklearn库的基本使用
weixin_45640091的博客
05-13 1087
sklearn库基本框架和数据库的调用 文章目录sklearn库基本框架和数据库的调用sklearn库的基本框架sklearn数据库及其调用自带的小数据库鸢尾花数据集mnist手写数字数据集图像数据集其他数据集在线下载的数据集20类新闻文本数据集Olivetti人脸数据集生成的数据集一些啰嗦的题外话参考资料 在正式开始学习之前，个人想做一点简单的说明，由于我是一名工科学生，可能侧重点会放在机器学习实战上，理论上的东西可能会介绍的少一点，望见谅。 sklearn库的基本框架 下面这张图片是sklearn官网中
sklearn之datasets模块常用功能详细介绍
weixin_43776305的博客
06-18 7805
文章目录序言datasets简单概述loader模块数据集总览示例（boston房价数据集）maker模块分类型数据的生成make_blobs()make_circles()make_moons()回归型数据的生成make_regression() 序言 datasets模块对我们初入机器学习的小萌新来说，真的是帮助很大，但是去官网阅读又都是英文，阅读起来有点困难。基于这点，特意写了这篇文章来简单介绍datasets的2个主要模块。 每个模块会有一个简单的示例，告诉我们怎样获得数据，这篇文章主要将获得数据，
sklearn.dataset
04-15
sklearn.datasets是其中一个模块，它提供了一些常用的数据集，方便用户进行实验和学习。 sklearn.datasets模块中包含了多个经典的数据集，这些数据集可以用于分类、回归、聚类等不同的机器学习任务。这些数据集通常...
sklearn学习小结
xiaomu_347的博客
04-16 1006
Scikit-learn（简称sklearn）是一个广泛使用的Python机器学习库，提供了大量的数据结构和算法，用于数据挖掘和数据分析。下面就其具体使用进行如下总结：（1）安装（2）使用说明。
机器学习 Sklearn Day2
birdooo的博客
02-21 1207
随机森林 1 概述 1.1 集成算法概述 集成学习（ensemblelearning）是时下非常流行的机器学习算法，它本身不是一个单独的机器学习算法，而是通过在数据上构建多个模型，集成所有模型的建模结果。基本上所有的机器学习领域都可以看到集成学习的身影，在现实中集成学习也有相当大的作用，它可以用来做市场营销模拟的建模，统计客户来源，保留和流失，也可用来预测疾病的风险和病患者的易感性。在现在的各种算法竞赛中，随机森林，梯度提升树（GBDT），Xgboost等集成算法的身影也随处可见，可见其效果之好.
【Transformers基础入门篇5】基础组件之Datasets
最新发布
hjxu2016的博客
09-24 1763
dataset库是一个非常简单易用的数据集加载库，可以方便快捷的从本地或者HuggingFace Hub加载数据集公开数据集地址：# filed 指限定某个字段的数据。
【Python实例第9讲】物种分布模型
wong2016的博客
10-18 7515
机器学习训练营——机器学习爱好者的自由交流空间（qq 群号：696721295） 建立物种的地理分布模型，是保护生物学的一个重要问题。在这个例子里，我们将根据已有的历史观测和14个环境变量，建立两个南美洲哺乳动物类的地理分布模型。这两个物种分别是： 褐喉树懒(Bradypus variegatus) 森林小稻鼠(Microryzomys minutus) 数据集介绍 本例使用的物种分...
【Python】sklearn.datasets使用（数据集、常用函数、示例代码）
不积跬步无以至千里，不积小流无以成江海。一个喜欢学习分享的程序员
05-22 7768
sklearn.datasets 中包含了多种多样的数据集，这些数据集主要可以分为以下几大类：玩具数据集（Toy datasets）、真实世界中的数据集（Real-world datasets）、样本生成器（Sample generators）、样本图片（Sample images）、SVMLight或LibSVM格式的数据、从OpenML下载的数据。 sklearn.datasets 模块提供了多个函数来加载和生成数据集，包括：加载数据集、生成数据集、图像数据集。
【机器学习】机器学习神器Scikit-Learn保姆级入门教程
fengdu78的博客
01-14 637
公众号：尤而小屋作者：Peter编辑：PeterScikit-learn是一个非常知名的Python机器学习库，它广泛地用于统计分析和机器学习建模等数据科学领域。建模无敌：用户通过scik...
SKLearn数据集API（二）
weixin_30718391的博客
10-30 165
注：本文是人工智能研究网的学习笔记 计算机生成的数据集 用于分类任务和聚类任务，这些函数产生样本特征向量矩阵以及对应的类别标签集合。 数据集 简介 make_blobs 多类单标签数据集，为每个类分配一个或者多个正态分布的点集，提供了控制每个数据点的参数：中心点（均值），标准差，常用于聚类算法。 make_classification 多类单标签数据集，为每个类分配了一个或者多个...
scikit-learn的datasets模块
m0_53328738的博客
06-03 829
scikit-learn的 datasets 模块包含测试数据相关函数
[机器学习]Scikit-Learn模块学习笔记——数据集模块datasets
图解AI
04-04 8040
原文:http://www.cnblogs.com/zhuyuanhao/p/5383628.html“>Scikit-Learn模块学习笔记——数据集模块datasets </div><!--end: blogStats --> </div><!--end: navigator 博客导航栏 -->
sklearn的数据集模块datasets
xtingjie的博客
05-17 4254
sklearn提供了机器学习的一些常用的数据集也提供了产生数据集的方法常用数据集Boston房价数据集（用于回归）乳癌数据集（用于分类，良性和恶性） 糖尿病数据集（用于回归） 手写字体数据集（用于分类，0到9，图片大小8*8） 鸢尾花数据集制造分类数据集制造回归数据集
python sklearn模块提示ImportError: cannot import name datasets
热门推荐
qq_36501182的博客
01-13 1万+
安装环境：ubuntu14.04(64) python2.7且安装成功 pip list     有找到 测试代码： from sklearn import datasets from sklearn.model_selection import cross_val_predict from sklearn import linear_model import matplotlib.
python机器学习中sklearn库简介学习
L29979264458的博客
05-05 1万+
python机器学习sklearn学习简介
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值