行政区域划分

模型中所用到的变量按能否直接运算分为两类。如果一个变量能直接运算，则为定量变量。对于这类变量，可以直接在模型里使用它。但是这样的使用方法隐含了变量的边际效应恒定这样一个假设。当需要去除这个隐藏的限制时，则可以将定量变量通过分段的方式转化为定性变量使用。如果一个变量不能直接运算，则为定性变量。为了能在模型里使用这类变量，通常将其转化为多个虚拟变量使用。但对于有序的定性变量，这样处理会损失掉变...

特征工程是用数学转换的方法将原始输入数据转换为用于机器学习模型的新特征。特征工程提高了机器学习模型的准确度和计算效率，体现在以下五个方面1、把原始数据转换成与目标相关的数据我们可以使用特征工程对原始数据进行转换，使其更接近目标变量，转换后的特征对目标更有预测性。在这种情况下，虽然未加工输入出现在原始数据集中，但如果将转换后的特征作为输入，则机器学习将提高预测的准确性。2、引入额外的数据...

一、前言数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。特征工程指的是把原始数据转变为模型的训练数据的过程，它的目的就是获取更好的训练数据特征，使得机器学习模型逼近这个上限。构建一个算法模型需要几个步骤，包括数据准备、特征工程、模型构建、模型调优等，其中特征工程是最重要的步骤，需要 70% 甚至以上的工作量。特征工程主要包括数据预处理、特征选择、特征构造、特征降维等。通过总结和归纳的特征工程包括以下方面：二、数据预处理数据预处理是特征工程的最重要的起始步骤，..

在前面我们分别讨论了特征工程中的特征选择与特征表达，本文我们来讨论特征预处理的相关问题。主要包括特征的归一化和标准化，异常特征样本清洗与样本数据不平衡问题的处理。1. 特征的标准化和归一化由于标准化和归一化这两个词经常混用，所以本文不再区别标准化和归一化，而通过具体的标准化和归一化方法来区别具体的预处理操作。z-score标准化：这是最常见的特征预处理方式，基本所有的线性模型在拟合的时...

所谓特征工程即模型搭建之前进行的数据预处理和特征提取。有时人们常常好高骛远，数据都没处理好就开始折腾各种算法，从第一开始就有问题，那岂不是还没开始就已经结束了。所以说啊，不积跬步无以至千里，生活中的每个细节，都可能创造人生的辉煌。特征工程什么是特征工程特征工程是将原始数据转换为更好地代表预测模型的潜在问题的特征的过程，从而提高了对未知数据的预测准确性。直接决定了模型预测的结果好坏。简单的说，就是一个特征提取和数据预处理的过程。而机器学习中想要做好特征处理，一定离不开一个工具，那就是skl

首先对Feature Selection相关的问题进行一个综合性的回顾，主要包含一下几点：1) Dimensionality reduction(降维)简要介绍;2) Feature extraction/ Feature projection(特征提取/特征投影)简要介绍；3）Feature selection(特征选择)简要介绍；4）Feature selection(特征选择)展开描述；5）部分相关文献推荐。Feature Selection其实是属于 Dimensionality r.

简 介据《福布斯》报道，每天大约会有 250 万字节的数据被产生。然后，可以使用数据科学和机器学习技术对这些数据进行分析，以便提供分析和作出预测。尽管在大多数情况下，在开始任何统计分析之前，需要先对最初收集的数据进行预处理。有许多不同的原因导致需要进行预处理分析，例如： 收集的数据格式不对（如 SQL 数据库、JSON、CSV 等） 缺失值和异常值 标准化 ...

在 sklearn 包中，OneHotEncoder 函数非常实用，它可以实现将分类特征的每个元素转化为一个可以用来计算的值。本篇详细讲解该函数的用法，也可以参考官网sklearn.preprocessing.OneHotEncoder。

1 前言在使用sklearn处理数据的时候，会经常看到fit_tranform()，但是偶尔也会遇到fit()和transform()函数，不太明白怎么使用，于是查询资料整理一下。2 理解fit：原义指的是安装、使适合的意思，其实有点train的含义但是和train不同的是，它并不是一个训练的过程，而是一个适配的过程，过程都是定死的，最后只是得到了一个统一的转换的规则模型。transform：是将数据进行转换，比如数据的归一化和标准化，将测试数据按照训练数据同样的模型进行转换，得到特征向量。fi