用sklearn做一个完整的机器学习工程——以波士顿房价预测为例。(一、用自定义转换器、Pipeline Feature_Union做特征工程)

利用pyecharts+sklearn实现链家北京二手房房价预测 利用Python的pandas、pyecharts、sklearn库,对之前从链家网站爬取的北京二手房的数据进行统计和可视化,分析北京二手房价格的影响因素,进而构建随机森林回归模型对北京二手房平均价格进行预测。 阅读详情

想要一直做一个完整的机器学习工程已经好久了,这篇博客呢,我会用到决策树,随机森林,svm,xgboost,投票法等方法。对波士顿的房价进行预测。本篇博客不会对相关原理进行解释,如果想要了解各个算法的原理,请阅读李航的统计机器学习,周志华的机器学习,以及陈天奇的XGBoost: A Scalable Tree Boosting System 和相关博客

部分代码参考利用python进行数据分析

其实在研一上数据挖掘课程的时候,老师就强烈推荐了sklearn这个包,当时数理知识还不是很强,学的算法也不是很明白,面对着1000多页的sklearn文档实在是令人望而生畏。这几天重新捡起来看了一点,发现sklearn的设计者们实在是太牛了!!不过还是期待市面上早日出现一本关于sklearn的书,如果能像利用python进行数据那本书写的一样好就可以了。

建议如果大家学了传统的机器学习算法之后,强烈推荐看看sklearn的文档,还有一些相关的重要参数。即使调包我们也要调的漂亮。嘿嘿。。。

在个人对 sklearn 的api的学习过程中,我觉得很有意义也是最漂亮的就是sklearn中的就是他的estimator,predictor,transform这三个接口了,结合pipeline 还有featureUnion 简直无敌。进行数据预处理的时候,管道设计实在是太人性化了。

sklearn 关于pipeline的应用的官方实例是给了一个20新闻集团语料库的例子,这个源代码对于初学者肯定特别不友好,所以我另外找了一个关于波士顿房价数据集的作为说明。我这也相当于又复习了一遍。(声明:这个完整机器学习项目并非我的原创,是我从github上下载的一个英文实例项目,但它做的比较浅,所以数据预处理部分的转换器我又重新设计了一下,而且没有进行调参和用集成学习的方法去做,我准备在后面加一些关于自己的esemble的东西,并顺变做一些ROC,F1-score,调参方法的测试等内容)

做这个的时候不由想到之前京东金融的面试,问我会选取哪些特征变量作为双十一预测客户是否会购买很多的特征变量。当时是在是太紧张了,就答了一个消费等级、消费金额。也有一部分原因是特征工程做的太少的原因,不管怎样,要一直练习下去呀。

突然悟到:

在找特征的过程中我们应该从时间特征(时间段、时间点)、地域特征(是否市区,人口密度)、身份(是否学生,消费能力等级,年龄层次)等等。

数据的获取(如何从某个链接网页上获取数据)

首先二话不说先送上下载数据的代码:

import os
import tarfile
from six.moves import urllib
DOWNLOAD_ROOT = "https://raw.githubusercontent.com/ageron/handson-ml/master/"
HOUSING_PATH = os.path.join("datasets", "housing")
HOUSING_URL = DOWNLOAD_ROOT + "datasets/housing/housing.tgz"
def fetch_data(housing_url = HOUSING_URL,housing_path = HOUSING_PATH):
    if not os.path.isdir(housing_path):
        os.makedirs(housing_path)
    tgz_path = os.path.join(housing_path,"housing_tgz")
    urllib.request.urlretrieve(housing_url,tgz_path)
    housing_tgz = tarfile.open(tgz_path)
    housing_tgz.extractall(path=housing_path)
    housing_tgz.close()

os,tarfile的含义很容易理解。urllib其实也是做爬虫的时候经常用到的一个库。含义很容易理解在此就不做额外说明了。

Step2 读取数据

fetch_housing_data()
import pandas as pd

def load_housing_data(housing_path=HOUSING_PATH):
    csv_path = os.path.join(housing_path, "housing.csv")
    return pd.read_csv(csv_path)
housing = load_housing_data()
housing.head()

我们由此可以得到一些关于数据集前6行的信息,有一些经度纬度,人口,房屋总数的数据,收入中位数的数据,我们要预测的是房价中位数。

首先我们要划分测试集和训练集

这里提供了俩种方法,一种是用numpy的permutation方法

import numpy as np

# For illustration only. Sklearn has train_test_split()
def split_train_test(data, test_ratio):
    shuffled_indices = np.random.permutation(len(data))
    test_set_size = int(len(data) * 
机器学习之二用sk-learn实现波士顿房价预测(单变量) 1、使用sk-learn进行波士顿房价预测的过程 (1)、波士顿地区房价数据获取,数据来自于sklearn自带数据集; (2)、波士顿地区房价数据分割; (3)、训练与测试数据标准化处理; (4)、使用最简单的线性回归模型LinearRegression对房价进行预测。 2、回归性能评价 MSE(Mean Squared Error):均方误差。 是真实值与预测值的差值的平方然后求和平均。常被用作... 阅读详情

相关推荐

sklearn实战:房价预测(线性回归)

%matplotlib inline import matplotlib.pyplot as plt import numpy as np from sklearn.datasets import load_boston boston = load_boston() X = boston.data y = boston.target X.shape (506, 13) X[0] ...

Douhh_sisy的博客 2396

波士顿房价预测案例(python scikit-learn)---多元线性回归(多角度实验分析)

Scikit-learn(全称:Simple and Efficient Tools for Machine Learning,意为“简单高效的机器学习工具”)是一个开源的Python机器学习库,它提供了简单而高效的工具,用于数据挖掘和数据分析。Scikit-learn主要特点包括:丰富的算法库、易于使用、高效的性能、数据预处理和特征选择、模型评估和选择、可扩展性、社区支持。波士顿房价数据集是一个著名的数据集,它在机器学习和统计分析领域中被广泛用于回归问题的实践和研究。

weixin_43327597的博客 6265

用sklearn做一个完整的机器学习工程——以波士顿房价预测为例(三、调参,找最优参数)

前言 本来是打算介绍一下:GBDT、XGboost的原理的,看着看着发现网络上的博客资料都不是很全,讲的云里雾里。 建议直接阅读一下Friedman的论文和陈天奇的论文,链接: https://pan.baidu.com/s/14TmsZTorZmOAHEwZU5fiNA 密码: g2g1 下面我要开始介绍sklearn中的调参步骤啦 如果你现在有了一个列表,列表里有几个有希望的模型。你现...

PythonstartL的博客 2920

sklearn房价预测(随机森林)

任务目标:根据统计在csv中的房屋属性相关数据,预测房屋最终成交价格数据集:《住宅属性数据集》,自取数据集字段解释:这个文件中有字段详细说明↓。

什么都干的派森 1499

机器学习-线性回归-python scikit-learn 房价预测

本教程在anaconda中的notebook进行实现,python版本3.10.9。线性回归-房价数据,scikit-learn。该模型很简单,因此可以尝试其他复杂的模型,如随机森林、决策树或集成方法。因为我们将在下一个实验中讨论这些模型。另外,需要注意的是,大多数情况下,如果您有一个简单的数据集,简单模型将工作得很好,因为复杂模型可能会过拟合数据。此外,好的模型来自好的数据,所以最好花时间整理数据,而不是在模型中来回跳来跳去。

weixin_44733966的博客 3778

VSCode玩转STM32:手把手教你配置EIDE插件与OpenOCD调试(附野火DAP配置文件详解)

本文详细介绍了如何在VSCode中配置EIDE插件与OpenOCD进行STM32开发,特别针对野火DAP调试器提供了配置文件详解。从基础环境搭建到深度调试技巧,帮助开发者高效完成STM32项目开发,实现现代化嵌入式开发工作流。

weixin_26905487的博客 553

NS3入门教程 以及 NS3 IEEE 802.15.7 CSMA/CA仿真代码

本文初衷 当我发现我必须要做NS3网络仿真的时候,我内心是拒绝的,一方面NS3完全没接触过,另一方面,C++语言接触也不是太多,感觉工作量好大。但是,真的是不做不行了。然后,我就到网上查一些关于NS3的仿真内容,入门什么的,感觉真的是好混乱啊,这个东西没有一个明确的教程,都是一些杂乱的优快云和技术博客,看起来十分混乱,而且有些现成的代码都是好多好多年前的,让人很难受。所以,我就写了本文,希望...

逆水行舟,不进则退 6739

超详细MySQL 8.0安装与配置

MySQL的安装与配置 还不会安装MySQL的同学们,还不会配置MySQL的同学们,赶紧按照下面步骤操作起来,超详细安装步骤如下: 进入MySQL官网 1、点击download 2、点击MySQL Community Server 3、选好选项点击go to download page 4、点击download 5、点击no thanks,just start my download 6、选Server only,点击Next 7、点击Execute 8、点击

Turniper的博客 8763

【水文】calico-node 启动失败 Init:CrashLoopBackOff

Defaulted container "calico-node" out of: calico-node, upgrade-ipam (init), install-cni (init), mount-bpffs (init) Error from server (BadRequest): container "calico-node" in pod "calico-node-4j7td" is waiting to start: PodInitializing

大健的日常的博客 1万+

Android应用之【巧妙隐藏桌面图标的进阶方案】

本文详细探讨了Android应用中隐藏桌面图标的进阶方案,解决了传统方法在Android 10及以上版本中出现的黑色图标残留问题。通过Intent-Filter配置和厂商适配技巧,实现子应用真正隐身,同时确保主应用正常启动。适用于企业工具套件、模块化系统等场景,提升用户体验和安全性。

weixin_28363123的博客 513

windows10 + wsl2安装docker

一、安装wsl https://docs.microsoft.com/zh-cn/windows/wsl/install-win10 1.1以管理员身份运行powershell 1.2执行如下命令 dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart 1.3重启电脑 1.4 重启电脑后,如果需要安装wsl2, 则安装官方文档继续后续操作,因我...

happytree001的博客 1572

ROS与深度相机入门教程:(1)Ubuntu16.04 在ROS中驱动Intel D435i深度相机

Intel在Github上开源了支持所有RealSense系列相机的SDK,包括了D400、SR300系列深度相机和T265双目跟踪相机,支持Linux、Windows、Mac OS以及Android,链接:https://github.com/IntelRealSense/librealsense/blob/master/doc/distribution_linux.md#installin...

m0_37957160的博客 2077

14、多标签分类与卷积神经网络在医学图像处理中的应用

本文探讨了多标签分类与卷积神经网络(CNN)在医学图像处理中的应用。文章详细介绍了多标签分类的概念和挑战,以及如何通过CNN进行高效、准确的分类任务。内容涵盖模型设计、损失函数选择、数据增强技术、类别权重调整等关键技术点,并结合实际案例,如白内障手术工具检测、视网膜血管分割等,展示了CNN在医学图像分析中的强大潜力。此外,还讨论了模型优化策略及面临的挑战与解决方案。

t8u9v0的博客 193

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

上一篇: Tensorflow 学习(一) DNN的前世今生(一)加源代码展示
下一篇: 线性回归的小trick
PythonstartL
博客等级 码龄9年 31粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值