两行代码完成特征工程-基于Python的特征自动化选择代码(提供下载)

Python特征工程 一、目的 将数据转换为能更好地表示潜在问题的特征,从而提高机器学习的性能 二、内容 缺失:加入先验知识 异常:清除噪声 集中:数据集中(归一化、标准化)、变量集中(特征筛选、降维) 有价值:数据有价值(数据分桶)、变量有价值(特征构造) ... 阅读详情

本文介绍一个特征选择神器:特征选择器是用于减少机器学习数据集的维数的工具,可以傻瓜式地进行特征选择,两行代码即可搞定!!

来源:Will Koehrsen

代码整理及注释翻译:黄海广

代码和数据下载地址:

https://github.com/fengdu78/Data-Science-Notes/tree/master/9.feature-engineering/FeatureSelectorUsage

实现的功能

该选择器基于Python编写,有五种方法来标识要删除的特征:

  • 缺失值

  • 唯一值

  • 共线特征

  • 零重要性特征

  • 低重要性特征

使用方法

 特征选择器(Feature Selector)的用法

在这个Jupyter文件中, 我们将使用 FeatureSelector 类来选择数据集中要删除的特征,这个类提供五种方法来查找要删除的功能:

  1. 查找缺失分数大于指定阈值的列

  2. 查找只有唯一值的特征

  3. 查找由相关系数大于指定值的共线特征

  4. 使用梯度提升算法查找具有零重要性的特征

  5. 使用梯度提升算法查找中查找对指定的累积特征重要性无贡献的特征

FeatureSelector 仍在进一步开发中! 欢迎大家在github提交PR.

from feature_selector import FeatureSelector

import pandas as pd

示例数据集

该数据集被用作Kaggle上房屋信用违约风险竞赛的(https://www.kaggle.com/c/home-credit-default-risk)  一部分(文末提供下载)。它旨在用于有监督的机器学习分类任务,其目的是预测客户是否会拖欠贷款。您可以在此处下载整个数据集,我们将处理10,000行的一小部分样本。

特征选择器旨在用于机器学习任务,但可以应用于任何数据集。基于特征重要性的方法需要使用机器学习的监督学习问题。

train = pd.read_csv('data/credit_example.csv')
train_labels = train['TARGET']
train.head()

5 rows × 122 columns

数据集中有几个分类列。`FeatureSelector`处理这些特征重要性的时候使用独热编码。
train = train.drop(columns = ['TARGET'])

实施

在FeatureSelector具有用于标识列,以除去五种特征 :

  • identify_missing(查找缺失值)

  • identify_single_unique(查找唯一值)

  • identify_collinear(查找共线特征)

  • identify_zero_importance (查找零重要特征)

  • identify_low_importance(查找低重要特征)

这些方法找到要根据指定条件删除的特征。标识的特征存储在 FeatureSelector的 ops 属性(Python词典)中。我们可以手动删除已识别的特征,也可以使用 FeatureSelector中的删除特征函数真正删除特征。

创建实例

FeatureSelector 仅需要一个在行中具有观察值而在列中具有特征的数据集(标准结构化数据)。我们正在处理机器学习的分类问题,因此我们也需要训练的标签。

fs = FeatureSelector(data = train, labels = train_labels)
1. 缺失值

第一种特征选择方法很简单:找到丢失分数大于指定阈值的任何列。在此示例中,我们将使用阈值0.6,这对应于查找缺失值超过60%的特征。(此方法不会首先对特征进行一次独热编码)。

fs.identify_missing(missing_threshold=0.6)
17 features with greater than 0.60 missing values.

可以通过 FeatureSelector 对象的ops词典访问已确定要删除的特征。

missing_features = fs.ops['missing']
missing_features[:10]
['OWN_CAR_AGE',
 'YEARS_BUILD_AVG',
 'COMMONAREA_AVG',
 'FLOORSMIN_AVG',
 'LIVINGAPARTMENTS_AVG',
 'NONLIVINGAPARTMENTS_AVG',
 'YEARS_BUILD_MODE',
 'COMMONAREA_MODE',
 'FLOORSMIN_MODE',
 'LIVINGAPARTMENTS_MODE']

我们还可以绘制数据集中所有列的缺失列分数的直方图。

fs.plot_missing()

有关缺失分数的详细信息,我们可以访问missing_stats属性,这是所有特征缺失分数的DataFrame。

fs.missing_stats.head(10)

missing_fraction
COMMONAREA_AVG0.6953
COMMONAREA_MODE0.6953
COMMONAREA_MEDI0.6953
NONLIVINGAPARTMENTS_AVG0.6945
NONLIVINGAPARTMENTS_MODE0.6945
NONLIVINGAPARTMENTS_MEDI0.6945
LIVINGAPARTMENTS_MEDI0.6846
LIVINGAPARTMENTS_AVG0.6846
LIVINGAPARTMENTS_MODE0.6846
FONDKAPREMONT_MODE0.6820
2. 唯一值

下一个方法很简单:找到只有一个唯一值的所有特征。(这不会对特征进行独热编码)。

fs.identify_single_unique()
4 features with a single unique value.
single_unique = fs.ops['single_unique']
single_unique
['FLAG_MOBIL', 'FLAG_DOCUMENT_10', 'FLAG_DOCUMENT_12', 'FLAG_DOCUMENT_17']

我们可以绘制数据集中每个特征中唯一值数量的直方图。

fs.plot_unique()

最后,我们可以访问一个DataFrame,其中包含每个特征的唯一值数量。

fs.unique_stats.sample(5)

nunique
DAYS_EMPLOYED4210
REGION_RATING_CLIENT3
FLAG_DOCUMENT_202
FLAG_DOCUMENT_152
NONLIVINGAREA_MEDI993
3. 共线(高相关性) 特征

该方法基于皮尔森相关系数找到共线特征对。对于高于指定阈值(就绝对值而言)的每一对,它标识要删除的变量之一。我们需要传递一个 correlation_threshold。

此方法基于在:https://chrisalbon.com/machine_learning/feature_selection/drop_highly_correlated_features/ 中找到的代码。

对于每一对,将要删除的特征是在DataFrame中列排序方面排在最后的特征。(除非one_hot = True,否则此方法不会预先对数据进行一次独热编码。因此,仅在数字列之间计算相关性)

fs.identify_collinear(correlation_threshold=0.975)
24 features with a correlation magnitude greater than 0.97.
correlated_features = fs.ops['collinear']
correlated_features[:5]
['AMT_GOODS_PRICE',
 'FLAG_EMP_PHONE',
 'YEARS_BUILD_MODE',
 'COMMONAREA_MODE',
 'ELEVATORS_MODE']

我们可以查看阈值以上相关性的热图。将要删除的特征位于x轴上。

fs.plot_collinear()

要绘制数据中的所有相关性,我们可以将 plot_all = True 传递给 plot_collinear函数。

fs.plot_collinear(plot_all=True)
fs.identify_collinear(correlation_threshold=0.98)
fs.plot_collinear()
21 features with a correlation magnitude greater than 0.98.

要查看阈值以上的相关细节,我们访问record_collinear 属性,它是一个DataFrame。 drop_feature 将被删除,并且对于每个将被删除的特征,它与 corr_feature可能存在多个相关性,而这些相关性都高于correlation_threshold。

fs.record_collinear.head()

corr_featurecorr_valuedrop_feature
0AMT_CREDIT0.987232AMT_GOODS_PRICE
1DAYS_EMPLOYED-0.999533FLAG_EMP_PHONE
2YEARS_BUILD_AVG0.992120YEARS_BUILD_MODE
3COMMONAREA_AVG0.988074COMMONAREA_MODE
4FLOORSMAX_AVG0.984663FLOORSMAX_MODE
 

4. 零重要特征 

此方法依赖于机器学习模型来识别要删除的特征。因此,它是有标签的监督学习问题。该方法通过使用LightGBM库中实现的梯度增强机找到特征重要性。

为了减少所计算的特征重要性的差异,默认情况下对模型进行了10次训练。默认情况下,还使用验证集(训练数据的15%)通过提前停止训练模型,以识别要训练的最优估计量。可以将以下参数传递给identify_zero_importance 方法:

  • task: 可以是 classification 或 regression。指标和标签必须与任务匹配。

  • eval_metric: 用于提前停止的度量(例如,用于分类的auc或用于回归的l2 )。要查看可用指标的列表,请参阅LightGBM文档:(http://testlightgbm.readthedocs.io/en/latest/Parameters.html#metric-parameters)。

  • n_iterations: 训练次数。特征重要性是在训练运行中平均得出的 (默认为10)。

  • early_stopping: 训练模型时是否使用提前停止(默认= True)。当验证集的性能对于指定数量的估计量(此实现中默认为100)不再降低时,提早停止将停止训练估计量(决策树)。早停是一种正则化形式,用于防止训练数据过拟合。

首先对数据进行一次独热编码,以供模型使用。这意味着某些零重要性特征可以通过一键编码来创建。要查看单编码的列,我们可以访问 FeatureSelector的one_hot_features 。

注意:与其他方法相比,模型的特征重要性是不确定的(具有少许随机性)。每次运行此方法时,其结果都可能更改。

fs.identify_zero_importance(task = 'classification', eval_metric = 'auc',
                            n_iterations = 10, early_stopping = True)
Training Gradient Boosting Model

Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[57]	valid_0's auc: 0.760957	valid_0's binary_logloss: 0.250579
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[29]	valid_0's auc: 0.681283	valid_0's binary_logloss: 0.266277
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[50]	valid_0's auc: 0.73881	valid_0's binary_logloss: 0.257822
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[34]	valid_0's auc: 0.720575	valid_0's binary_logloss: 0.262094
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[48]	valid_0's auc: 0.769376	valid_0's binary_logloss: 0.247709
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[35]	valid_0's auc: 0.713877	valid_0's binary_logloss: 0.262254
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[76]	valid_0's auc: 0.753081	valid_0's binary_logloss: 0.251867
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[70]	valid_0's auc: 0.722385	valid_0's binary_logloss: 0.259535
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[45]	valid_0's auc: 0.752703	valid_0's binary_logloss: 0.252175
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[49]	valid_0's auc: 0.757385	valid_0's binary_logloss: 0.250356

81 features with zero importance after one-hot encoding.

运行梯度提升模型需要对特征进行独热编码。这些特征保存在 FeatureSelector的 one_hot_features 属性中。原始特征保存在base_features中。

one_hot_features = fs.one_hot_features
base_features = fs.base_features
print('There are %d original features' % len(base_features))
print('There are %d one-hot features' % len(one_hot_features))
There are 121 original features
There are 134 one-hot features

FeatureSelector 的 data 属性保存原始DataFrame。独热编码后, data_all属性将保留原始数据以及独热编码特征。

fs.data_all.head(10)

10 rows × 255 columns

我们可以使用多种方法来检查特征重要性的结果。首先,我们可以访问具有零重要性的特征列表。
zero_importance_features = fs.ops['zero_importance']
zero_importance_features[10:15]
['ORGANIZATION_TYPE_Transport: type 1',
 'ORGANIZATION_TYPE_Security',
 'FLAG_DOCUMENT_15',
 'FLAG_DOCUMENT_17',
 'ORGANIZATION_TYPE_Religion']
画出特征重要性

使用 plot_feature_importances 的特征重要性画图将向我们显示 plot_n 最重要的特征(按归一化比例将特征加总为1)。它还向我们显示了累积特征重要性与特征数量之间的关系。

当我们绘制特征重要性时,我们可以传递一个阈值,该阈值标识达到指定的累积特征重要性所需的特征数量。例如,threshold = 0.99将告诉我们占总重要性的99%所需的特征数量。

fs.plot_feature_importances(threshold = 0.99, plot_n = 12)
111 features required for 0.99 of cumulative importance

在 FeatureSelector中的 feature_importances 属性中可以访问所有的特征重要性。

fs.feature_importances.head(10)

featureimportancenormalized_importancecumulative_importance
0EXT_SOURCE_2145.20.0981740.098174
1EXT_SOURCE_3127.70.0863420.184517
2EXT_SOURCE_182.70.0559160.240433
3DAYS_BIRTH71.40.0482760.288709
4DAYS_REGISTRATION64.10.0433400.332049
5DAYS_ID_PUBLISH59.30.0400950.372143
6SK_ID_CURR57.70.0390130.411156
7DAYS_EMPLOYED55.50.0375250.448682
8DAYS_LAST_PHONE_CHANGE47.00.0317780.480460
9AMT_INCOME_TOTAL41.00.0277210.508181
我们可以使用这些结果来仅选择“”个最重要的特征。例如,如果我们希望排名前100位的重要性最高,则可以执行以下操作。
one_hundred_features = list(fs.feature_importances.loc[:99, 'feature'])
len(one_hundred_features)
100
5. 低重要性特征

此方法使用梯度提升算法(必须首先运行identify_zero_importance)通过查找达到指定的累积总特征重要性所需的最低特征重要性的特征,来构建特征重要性。例如,如果我们输入0.99,则将找到最不重要的特征重要性,这些特征总的不到总特征重要性的99%。

使用此方法时,我们必须已经运行了identify_zero_importance ,并且需要传递一个cumulative_importance ,该值占总特征重要性的一部分。

**注意:**此方法建立在梯度提升模型的重要性基础之上,并且还是不确定的。我建议使用不同的参数多次运行这两种方法,并测试每个结果的特征集,而不是只选择一个数字。

fs.identify_low_importance(cumulative_importance = 0.99)
110 features required for cumulative importance of 0.99 after one hot encoding.
129 features do not contribute to cumulative importance of 0.99.

要删除的低重要性特征是指那些对指定的累积重要性无贡献的特征。这些特征也可以在 ops 词典中找到。

low_importance_features = fs.ops['low_importance']
low_importance_features[:5]
['NAME_FAMILY_STATUS_Widow',
 'WEEKDAY_APPR_PROCESS_START_SATURDAY',
 'ORGANIZATION_TYPE_Business Entity Type 2',
 'ORGANIZATION_TYPE_Business Entity Type 1',
 'NAME_INCOME_TYPE_State servant']
删除特征

一旦确定了要删除的特征,便可以通过多种方式删除这些特征。我们可以访问removal_ops词典中的任何功能列表,并手动删除列。我们还可以使用 remove 方法,传入标识我们要删除的特征的方法。

此方法返回结果数据,然后我们可以将其用于机器学习。仍然可以在特征选择器的 data 属性中访问原始数据。

请注意用于删除特征的方法!在使用删除特征之前,最好先检查将要remove的特征。

train_no_missing = fs.remove(methods = ['missing'])
Removed 17 features.
train_no_missing_zero = fs.remove(methods = ['missing', 'zero_importance'])
Removed 98 features.

要从所有方法中删除特征,请传入 method='all'。在执行此操作之前,我们可以使用check_removal检查将删除了多少个特征。这将返回已被识别为要删除的所有特征的列表。

all_to_remove = fs.check_removal()
all_to_remove[10:25]
Total of 156 features identified for removal

['FLAG_OWN_REALTY_Y',
 'FLAG_DOCUMENT_19',
 'ORGANIZATION_TYPE_Agriculture',
 'FLOORSMIN_MEDI',
 'ORGANIZATION_TYPE_Restaurant',
 'NAME_HOUSING_TYPE_With parents',
 'NONLIVINGAREA_MEDI',
 'NAME_INCOME_TYPE_Pensioner',
 'HOUSETYPE_MODE_specific housing',
 'ORGANIZATION_TYPE_Industry: type 5',
 'ORGANIZATION_TYPE_Realtor',
 'OCCUPATION_TYPE_Cleaning staff',
 'ORGANIZATION_TYPE_Industry: type 12',
 'OCCUPATION_TYPE_Realty agents',
 'ORGANIZATION_TYPE_Trade: type 6']

现在我们可以删除所有已识别的特征。

train_removed = fs.remove(methods = 'all')
['missing', 'single_unique', 'collinear', 'zero_importance', 'low_importance'] methods have been run

Removed 156 features.
处理独热特征

如果我们查看返回的DataFrame,可能会注意到原始数据中没有的几个新列。这些是在对数据进行独热编码以进行机器学习时创建的。要删除所有独热特征,我们可以将 keep_one_hot = False 传递给 remove 方法。

train_removed_all = fs.remove(methods = 'all', keep_one_hot=False)
['missing', 'single_unique', 'collinear', 'zero_importance', 'low_importance'] methods have been run

Removed 190 features including one-hot features.
print('Original Number of Features', train.shape[1])
print('Final Number of Features: ', train_removed_all.shape[1])
Original Number of Features 121
Final Number of Features:  65
使用所有方法的替代选项

如果我们不想一次运行一个识别方法,则可以使用identify_all 在一次调用中运行所有方法。对于此功能,我们需要传入参数字典以用于每种单独的识别方法。

以下代码在一个调用中完成了上述步骤。

fs = FeatureSelector(data = train, labels = train_labels)

fs.identify_all(selection_params = {'missing_threshold': 0.6, 'correlation_threshold': 0.98,
                                    'task': 'classification', 'eval_metric': 'auc',
                                     'cumulative_importance': 0.99})
17 features with greater than 0.60 missing values.

4 features with a single unique value.

21 features with a correlation magnitude greater than 0.98.

Training Gradient Boosting Model

Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[46]	valid_0's auc: 0.743917	valid_0's binary_logloss: 0.254668
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[82]	valid_0's auc: 0.766619	valid_0's binary_logloss: 0.244264
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[55]	valid_0's auc: 0.72614	valid_0's binary_logloss: 0.26157
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[81]	valid_0's auc: 0.756286	valid_0's binary_logloss: 0.251242
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[39]	valid_0's auc: 0.686351	valid_0's binary_logloss: 0.269367
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[41]	valid_0's auc: 0.744124	valid_0's binary_logloss: 0.255549
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[90]	valid_0's auc: 0.761742	valid_0's binary_logloss: 0.249119
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[49]	valid_0's auc: 0.751569	valid_0's binary_logloss: 0.254504
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[76]	valid_0's auc: 0.726789	valid_0's binary_logloss: 0.257181
Training until validation scores don't improve for 100 rounds.
Early stopping, best iteration is:
[46]	valid_0's auc: 0.714889	valid_0's binary_logloss: 0.260482

80 features with zero importance after one-hot encoding.

115 features required for cumulative importance of 0.99 after one hot encoding.
124 features do not contribute to cumulative importance of 0.99.

150 total features out of 255 identified for removal after one-hot encoding.
train_removed_all_once = fs.remove(methods = 'all', keep_one_hot = True)
['missing', 'single_unique', 'collinear', 'zero_importance', 'low_importance'] methods have been run

Removed 150 features.
fs.feature_importances.head()

featureimportancenormalized_importancecumulative_importance
0EXT_SOURCE_2165.30.0910740.091074
1EXT_SOURCE_3154.70.0852340.176309
2EXT_SOURCE_197.50.0537190.230028
3DAYS_BIRTH84.60.0466120.276639
4DAYS_REGISTRATION75.90.0418180.318457

由于特征重要性已更改,因此删除的特征数略有差异。由缺失的(missing)、单一的(single_unique)和共线( collinear)确定要删除的特征数量将保持不变,因为它们是确定性的,但是由于多次训练模型,零重要性( zero_importance )和低重要性(low_importance )的特征数量可能会有所不同。

结论

本笔记本演示了如何使用FeatureSelector类从数据集中删除特征。此实现中有几个重要注意事项:

  • 在机器学习模型的多次运行中,特征重要性将发生变化。

  • 决定是否保留从一个独热编码创建的额外特征。

  • 为不同的参数尝试几个不同的值,以确定哪些参数最适合机器学习任务。

  • 对于相同的参数,缺失的(missing)、单一的(single_unique)和共线( collinear)的输出将保持不变。

  • 特征选择是机器学习工作流中的一个关键步骤,它可能需要多次迭代来优化。

    我很感激你对这个项目的任何评论、反馈或帮助。

    代码和数据下载地址:

    https://github.com/fengdu78/Data-Science-Notes/tree/master/9.feature-engineering/FeatureSelectorUsage

参考

WillKoehrsen:https://github.com/WillKoehrsen/feature-selector

完)
python特征选择(一款非常棒的特征选择工具:feature-selector) 文章目录前言1.数据集选择2.feature-selector用法3.具有高missing-values百分比的特征4.具有高相关性的特征5.对模型预测结果无贡献的特征6.对模型预测结果只有很小贡献的特征7.具有单个值的特征8.从数据集去除选择的特征9.结论 前言        FeatureSelector是用于降低机器学习数... 阅读详情

相关推荐

特征选择mRMR算法实现全解

mRMR:(Maximum relerelevance,minimum redundancy) 最大相关最小冗余算法,顾名思义,它不仅考虑到了特征和label之间的相关性,还考虑到了特征和特征之间的相关性。度量标准使用的是互信息(Mutual information)。对于mRMR方法,特征子集与类别的相关性通过各个特征与类别的信息增益的均值来计算,而特征与特征的冗余使用的是特征和特征之间的互信息...

阿斯达克 1万+

用python进行数据特征工程全代码流程,所学即所用

首先说一下为什么要做特征工程?总的来说机器学习算法就是用输入的数据来推算输出的数据。输入的数据包含以下特征,这些特征是以行列矩阵的列来表示,算法需要具有特定形式的特征作为输入才能更好地发挥作用,模型的表现才能达到最佳,所以我们要对输入的特征进行一些列的操作,这个过程就是特征工程。在这篇文章里我利用Python把主要的特征工程技术通过全代码的形式,给大家做一个分享。 首先是缺失值的处理 1、删除缺失值 缺失值是机器学习对真实世界数据进行处理时最常见问题之一。人为错误、数据流中断、隐私问题和其他因素可能是

环湖数据科学知识共享平台 1250

随机森林来进行特征选择(Python代码实现)

参考来源:https://www.toutiao.com/a6644771438534328836/ 当数据集的特征过多时,容易产生过拟合,可以用随机森林来在训练之后可以产生一个各个特征重要性的数据集,利用这个数据集,确定一个阈值,选出来对模型训练帮助最大的一些特征,筛选出重要变量后可以再训练模型; 数据集是从kaggle网站上下载的lend club数据,通过随机森林筛选出对预测是否逾期的重...

Chelseady的博客 1万+

利用Python进行常见的特征工程

利用Python进行常见的特征工程

微信知乎搜索HsuHeinrich 1万+

python提取mfcc特征

理论部分请看:https://haythamfayek.com/2016/04/21/speech-processing-for-machine-learning.html 这是我认为最完整的、讲解最清楚的python提取mfcc特征的教程。 用到的OSR_us_000_0010_8k.wav数据在这里下载: http://www.voiptroubleshooter.com/open_speec...

ZHUQIUSHI123的博客 1万+

使用Python进行特征工程及其相关技巧

使用Python进行特征工程及其相关技巧特征工程是数据科学中一个重要的环节,它可以直接影响模型的预测效果。本篇文章将介绍使用Python进行特征工程及其相关技巧,包括特征组合、特征交叉、特征变换以及生成特征等。

持续更新 225

用Python做特征工程

用Python做特征工程。

bluepomelo的博客 459

Python-译面向机器学习的特征工程

[译] 面向机器学习的特征工程

dataframe多条件选择_两行代码完成特征工程-基于Python的特征自动化选择代码(提供下载)

两行代码完成特征工程-基于Python的特征自动化选择代码(提供下载)特征工程往往需要大量代码进行数据处理,本文介绍一个特征选择神器:FeatureSelector是用于减少机器学习数据集的维数的工具,可以傻瓜式地进行特征选择,只需要两行代码!!! 来源:Will Koehrsen 代码整理及注释翻译:黄海广 代码下载地址:fengdu78/Data-Science-Notes实现的功能 该选择器...

weixin_39617318的博客 266

VS2019 C# MySQL 学生信息增删改查(一、增删)

VS2019 C# MySQL 学生信息增删改查 由于刚刚学习VS2019,入手的第一个例子是编写一个简单的增删改查。这里,我以学生信息为例,进行详细的过程描述以及代码实现。 一、 新建一个Windows窗体应用程序 1、创建新项目界面,如下图所示。 2、更改项目名称,当然不修改也可以。我这里的是“StudentInfoSystem”;项目存放位置路径根据自己需要进行更改;“将解决方案和项目放在同一目录中”前面的勾选框,选不选都可以;点击“创建”,如下图所示。 二、前期准备工作 1、将Form1属性中

青哥 1万+

KEGG数据库与KAAS工具:基因功能注释的实用指南

本文提供了使用KEGG数据库与KAAS工具进行基因功能注释的完整实用指南。详细阐述了如何从准备基因或蛋白序列开始,通过KAAS服务器获取KEGG Orthology(KO)编号,并解读注释结果。文章进一步介绍了如何利用KOBAS工具进行通路富集分析,将定性观察转化为定量洞察,并分享了提高注释准确率、处理大数据集及使用API等避坑技巧与高阶方法,为基因组学、转录组学研究者奠定坚实的数据分析基础。

weixin_29292535的博客 394

基于Python的特征自动化选择:两行代码完成特征工程

本文介绍一个特征选择神器:特征选择器是用于减少机器学习数据集的维数的工具,可以傻瓜式地进行特征选择,两行代码即可搞定!!来源:Will Koehrsen代码整理及注释翻译:黄海广代码和数...

fengdu78的博客 1083

台达伺服B3驱动器参数的设定和CN1的接法

3. B2的电子齿轮比是直接设定P1-44(分子)和P1-45(分母)就就可以的,但是B3的有个隐藏的细节,就是P1-44的默认值77216不用去更改,这是官方客服说的,需要改的是P1-45这个参数,比如说,我使用的丝杆螺距是5mm的,那么就是以5000脉冲走完5mm为一圈,则就把P1-45设定为5000即可;我的是三菱FX3S系列的PLC,是NPN型的,输出点是24V-作为信号的,所以接41、37,具体可参考B3的。,跟着客服的讲解操作才解决的,以下就是解决方法,希望能够帮到需要的各位。

qq_38681017的博客 1万+

常用特征选择方法及python代码

特征选择 数据集中存在大量冗余的变量时不仅有损模型性能,而且还会带来建模成本的提升,因此,进行特征选择还是很有必要的。 进行特征选择最起码会带来一下三方面的好处: 减少过拟合几率:冗余数据少了,基于噪音数据做决策的几率也就少了. 提升准确度: 烂数据少了,好数据拟合好模型那是当然了. 减少模型训练时长: 数据量少了,计算机吃的少了,跑的就快乐. 机器学习中的特征选择 下面介绍四种特征选...

机器不爱学习 1万+

基于HetConv与Dual策略的YOLOv8轻量化设计-CSPHet结构的优化与实现

在计算机视觉中,YOLOv8作为目标检测领域的最新版本,通过引入多种改进来提升检测精度和速度。然而,提升精度和保持实时性能往往需要更多参数与计算量。本文提出一种结合Dual思想与HetConv的新型轻量化结构,称为CSPHet。CSPHet能够在保持YOLOv8检测精度的基础上有效减少约70万参数量,实现模型的轻量化和速度的提升。HetConv(Heterogeneous Convolution)是一种混合卷积技术,通过同时使用1x1、3x3等不同大小的卷积核,来捕捉不同尺度的特征。

博客 1329

2023,程序员的出路在哪里?

可是似乎从30岁开始这工资就没涨过,前面跳槽几次涨的薪水在30岁以后跳槽已经不管用了、定格了,这几年由于市场环境不景气,程序员竞争越来越激烈,36岁跟30拿的工资一模一样,不仅工资拿的一样,反而事情还越来越多了,这些都意味着什么?处理故障需要的通常不仅仅是写代码的能力,还需要对一个系统的全貌要有一定的掌握。虽然目前不少大型互联网企业都在进行结构性调整,但是从互联网行业发展的基本面来看,未来在产业互联网发展的过程中,IT行业和传统行业将会释放出大量的就业岗位,所以未来程序员的发展空间还是非常值得期待的。

AI天才研究院 20万+

自动化特征工程与选择:`autofeat` 库推荐

- [示例 Notebook](https://github.com/cod3licious/autofeat/blob/master/autofeat_examples.ipynb) - [论文链接](https://arxiv.org/abs/1901.07329) 如果你有任何问题或建议,欢迎通过 [email](mailto:cod3licious@gmail.com) 联系项目作者。

gitblog_00302的博客 594

YOLOv8改进策略【Backbone/主干网络】| 2023 U-Net V2 替换骨干网络,加强细节特征的提取和融合

一、本文介绍 本文记录的是基于U-Net V2的YOLOv8目标检测改进方法研究。本文利用U-Net V2替换YOLOv8的骨干网络,UNet V2通过其独特的语义和细节融合模块(SDI),能够为骨干网络提供更丰富的特征表示。并且其中的注意力模块可以使网络聚焦于图像中与任务相关的区域,增强对关键区域特征的提取,进而提高模型精度。本文配置了原论文中pvt_v2_b0、pvt_v2_b1、pvt_v2_b2、pvt_v2_b3、pvt_v2_b4和pvt_v2_b5六种模型,以满足不同的需求。 文章目录一、本文

Limiiiing的博客 1722

用 XGBoost 在 Python 中进行特征重要性分析和特征选择

使用诸如梯度增强之类的决策树方法的集成的好处是,它们可以从训练有素的预测模型中自动提供特征重要性的估计。在本文中,您将发现如何使用Python中的XGBoost库来估计特征对于预测性建模问...

Python中文社区 1万+

我用 Python 把 Claude 变成了 “代码审查员“:每次提交前 AI 先 Review,Bug 漏网率降了 80%

这是成败的关键。我们需要给 Claude 立规矩,让它像一个严格的架构师那样思考。你是一名资深的首席软件架构师和安全专家。请审查以下 Git Diff 代码变更。你的任务是:1. **安全性检查**:寻找 SQL 注入、XSS、硬编码密钥、敏感信息泄露等。2. **潜在 Bug**:空指针、资源未关闭、竞态条件、逻辑死循环。3. **代码质量**:命名规范、冗余代码、可读性差、缺乏注释。4. **性能优化**:不必要的数据库查询、低效算法。

BUG猿的博客 149

【YoloV11改进策略】基于流形约束超连接(mHC)增强YoloV11全局特征提取能力|独家复现|梁文峰署名论文

论文标题:流形约束超连接 (Manifold-Constrained Hyper-Connections, mHC)核心问题:针对超连接 (Hyper-Connections, HC) 扩展残差流宽度时破坏恒等映射、引发训练不稳定性和高内存开销的问题,提出一种约束性框架。目标:恢复残差连接的稳定性与可扩展性,同时保持HC的性能增益。基准模型:基于DeepSeek-V3的MoE架构,进行了3B、9B、27B模型的实验验证。论文图示mHC 是一个通用的HC扩展框架。

m0_47867638的博客 1352

使用XGBoost在Python中进行特征重要性分析和特征选择

【翻译自 : Feature Importance and Feature Selection With XGBoost in Python】 【说明:Jason BrownleePhD大神的文章个人很喜欢,所以闲暇时间里会做一点翻译和学习实践的工作,这里是相应工作的实践记录,希望能帮到有需要的人!】 使用诸如梯度增强之类的决策树方法的集成的好处是,它们可以从训练有素的预测模型中自动提供特征重要性的估计。 在本文中,您将发现如何使用P...

Together_CZ的博客 1万+

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

python 3.x实现特征选择ReliefF算法

说明 下面代码修改自: vbaymax-特征择算法之ReliefF算法python实现 太多人私信我要这份python 3.x的代码了。 所以干脆发一篇博客,需要的请自取。 只需要代码的直接复制下面代码 需要 数据和代码 的请到 链接:https://share.weiyun.com/7sdVMZab 密码: i3cwuu 代码 #!/usr/bin/env python # -*- coding:utf-8 -*- #@Time : 2019/10/29 0029 9:12 #@Author

tb_youth的博客 5794

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Python机器学习—特征工程

文章目录1、数据集1.1 可用数据集1.2 scikit-learn数据集sklearn小数据集sklearn大数据集1.3 数据集的划分数据集划分API2.特征工程2.1特征工程包含内容3.特征提取3.1字典特征提取3.2 文本特征提取3.3中文文本特征提取3.4 Tf-idf文本特征提取公式4.特征预处理4.1 归一化4.2 标准化5. 特征降维5.1 特征选择5.1.1 低方差特征过滤5.1.2 相关系数6. 主成分分析总结 1、数据集 1.1 可用数据集 Kaggle网址:https://www

菜菜史迪仔的博客 4099

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

终极特征选择指南:如何用featurewiz一行代码搞定复杂特征工程

在机器学习项目中,特征工程和特征选择是决定模型性能的关键环节。featurewiz作为一款革命性的Python库,通过一行代码即可实现高级特征工程策略和最佳特征选择,彻底改变了数据科学家的日常工作流程。本文将深入解析featurewiz的核心功能,特别是其强大的MRMR(最大相关最小冗余)算法如何帮助你从数据集中选出最佳特征集,让特征选择变得前所未有的简单高效。 ## 为什么你需要feature

gitblog_00482的博客 624
上一篇: 疫情在家,全球 3万个景区 VR全景图,免费看。
下一篇: 部署基于嵌入的机器学习模型的通用模式
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值