sklearn.feature_selection讲解

最新推荐文章于 2023-11-28 23:33:09 发布
原创 最新推荐文章于 2023-11-28 23:33:09 发布 · 1.7k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了sklearn中SelectKBest类的使用方法，该类用于根据特征评分选择最高得分的K个特征，适用于分类任务。文章通过实例展示了如何使用SelectKBest结合卡方检验对digits数据集进行特征选择。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

class sklearn.feature_selection.SelectKBest(score_func=, k=10)
作用：Select features according to the k highest scores
选出分数最高的k个特征

Parameters:
score_func : callable
Function taking two arrays X and y, and returning a pair of arrays (scores, pvalues) or a single array with scores. Default is f_classif (see below “See also”). The default function only works with classification tasks.
k : int or “all”, optional, default=10
Number of top features to select. The “all” option bypasses selection, for use in a parameter search.
输出分数最高的K个特征

类方法：
fit(X, y) Run score function on (X, y) and get the appropriate features.
对X，y数据的特征进行评价
fit_transform(X[, y]) Fit to data, then transform it.
只保留数据X的前K个分数最高的特征

examples：

>>> from sklearn.datasets import load_digits
>>> from sklearn.feature_selection import SelectKBest, chi2
>>> X, y = load_digits(return_X_y=True)
>>> X.shape
(1797, 64)
>>> X_new = SelectKBest(chi2, k=20).fit_transform(X, y)
>>> X_new.shape
(1797, 20)
sklearn中感知机算法解析及应用
10-17
文档中主要介绍了sklearn安装包中的感知机部分，并详细介绍了其用法。
RandomForest_sklearn.zip_sklearn_sklearn RF_southern9qq_随机森林
07-15
本教程主要针对sklearn库中的随机森林算法进行详细讲解，非常适合初学者入门。 首先，我们需要了解随机森林的基本原理。随机森林是由多个决策树组成的集合，每个决策树都是基于训练集的不同子集（采样）和特征子集...
sklearn-1.1.13.感知器
被遗弃的庸才博客
06-10 372
1.1.13.感知器感知器是适用于大规模学习的另一种简单的算法。如：            *它不需要学习的速率            *它不需要正则化（惩罚）            *它是只能在错误时更新模型最后一个特征意味着感知器在训练的速度上比SGD快，并且损失小，所得到的模型较为稀疏。...
统计学习方法（第二章）--感知器(python实现以及sklearn调用)
sgcwudi的博客
10-28 760
统计学习方法（第二章）–感知器(python实现以及sklearn调用) 1 原理 找到一个分离超平面y=f(wx + b)，可以将数据分开，使wx + b>0的属于正类，wx + b<=0的属于负类。因此感知器是一个线性二分类模型。 三要素： 模型：y = f(wx + b) 策略：定义损失函数，误分类的点到超平面的距离和最小化。点到超平面的距离公式是|wx+b|/||w||.因为限制误分类的点，所以y(wx+b)<=0.忽略第二范数||w||。则损失函数L(Y,f(X)) = -y(w
十三.感知机原理和sklearn实现
weixin_36128607的博客
06-29 718
目录1.感知机模型2.损失函数3.参数优化4.感知机的对偶形式5.感知机算法流程(对偶形式)6.sklearn实现感知机(1)生成数据集(2)数据预处理(3)训练和评价 1.感知机模型 感知机是一个分类模型，它的分类策略是寻找一个分类超平面，将不同类别的样本分离在超平面两侧。同时，将误分类点到直线的距离之和作为损失函数，误分类距离之和越小，效果越好。需要注意的是，这样的超平面可能有无数个。 mmm个样本，每个样本有nnn维特征和一个标签yyy： (x11,x21,x31,...,xn1,y1),(x22,x
请教学式按句详细讲解以下代码：###--------------------KNN算法与决策树算法-------------------- from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split # 将文本数据转化为数值特征 vectorizer = TfidfVectorizer() X = vectorizer.fit_transform(data_str_list) # 划分数据集为训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 特征缩放 scaler = StandardScaler() X_train = scaler.fit_transform(X_train.toarray()) X_test = scaler.transform(X_test.toarray()) from sklearn.neighbors import KNeighborsClassifier from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import GridSearchCV from sklearn.metrics import accuracy_score # 使用网格搜索进行超参数调优 param_grid = { "n_neighbors": [3, 5, 7, 9], "weights": ["uniform", "distance"], "algorithm": ["auto", "ball_tree", "kd_tree", "brute"] } knn = KNeighborsClassifier() grid_search = GridSearchCV(knn, param_grid, cv=5) grid_search.fit(X_train, y_train) print("KNN最优参数：", grid_search.best_params_) param_grid = { "criterion": ["gini", "entropy"], "max_depth": [3, 5, 7, 9] } dt = DecisionTreeClassifier() grid_search = GridSearchCV(dt, param_grid, cv=5) grid_search.fit(X_train, y_train) print("决策树最优参数：", grid_search.best_params_) # 训练分类器并进行预测 knn = KNeighborsClassifier(n_neighbors=5, weights="uniform", algorithm="auto") knn.fit(X_train, y_train) knn_pred = knn.predict(X_test) dt = DecisionTreeClassifier(criterion="gini", max_depth=9) dt.fit(X_train, y_train) dt_pred = dt.predict(X_test) # 混合使用KNN和决策树进行文本分类 ensemble_pred = [] for i in range(len(knn_pred)): if knn_pred[i] == dt_pred[i]: ensemble_pred.append(knn_pred[i]) else: ensemble_pred.append(knn_pred[i]) # 输出分类结果和准确率 print("KNN准确率：", accuracy_score(y_test, knn_pred)) print("决策树准确率：", accuracy_score(y_test, dt_pred)) print("混合使用准确率：", accuracy_score(y_test, ensemble_pred))
05-31
from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.preprocessing import StandardScaler from sklearn.model_selection import train_test_split from sklearn.neighbors import ...
import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import train_test_split, cross_val_score, GridSearchCV, learning_curve from sklearn.metrics import classification_report, confusion_matrix, accuracy_score, roc_curve, auc from sklearn.preprocessing import StandardScaler import joblib import os def load_and_preprocess_data(csv_path): """ 加载并预处理数据 Args: csv_path: CSV文件路径 Returns: tuple: (X_scaled, y, scaler, feature_names) """ print(f"Loading data from {csv_path}...") df = pd.read_csv(csv_path) # 打印数据集基本信息 print("\nDataset Overview:") print(f"Number of samples: {df.shape[0]}") print(f"Number of features: {df.shape[1]-2}") # 排除image_name和indicator print("\nFeature Statistics:") print(df[['num_spots', 'max_spot_area', 'total_spot_area', 'indicator']].describe()) # 检查缺失值 if df.isnull().sum().sum() > 0: print("\nWarning: Dataset contains missing values") print(df.isnull().sum()) # 处理缺失值 df = df.dropna() # 准备特征和目标 X = df[['num_spots', 'max_spot_area', 'total_spot_area']] y = df['indicator'] # 缩放特征 scaler = StandardScaler() X_scaled = scaler.fit_transform(X) return X_scaled, y, scaler, X.columns def evaluate_model(model, X_test, y_test, feature_names=None): """ 评估模型性能 Args: model: 训练好的模型 X_test: 测试特征 y_test: 测试标签 feature_names: 特征名称列表 Returns: dict: 包含评估结果的字典 """ y_pred = model.predict(X_test) print("\nModel Evaluation:") print(f"Accuracy: {accuracy_score(y_test, y_pred):.4f}") print("\nClassification Report:") print(classification_report(y_test, y_pred)) print("\nConfusion Matrix:") cm = confusion_matrix(y_test, y_pred) print(cm) results = { 'acc
03-23
需要注意用户的引用中并没有提到模型评估的具体内容，所以可能需要依靠常见用法来补充，比如使用sklearn的model_selection和metrics模块。同时，要检查代码示例的正确性，避免语法错误，如缩进、导入库的顺序等。 ...
import pandas as pd from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score from sklearn.tree import export_graphviz import graphviz from sklearn.preprocessing import LabelEncoder # 读取Excel文件 df = pd.read_excel('data.xlsx') # 特征编码 for col in ['年龄', '有工作', '有自己的房子', '信贷情况', '类别']: le = LabelEncoder() df[col] = le.fit_transform(df[col]) # 划分特征和标签 X = df[['年龄', '有工作', '有自己的房子', '信贷情况']] y = df['类别'] # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 训练决策树模型 clf = DecisionTreeClassifier() clf.fit(X_train, y_train) # 模型评估 y_pred = clf.predict(X_test) accuracy = accuracy_score(y_test, y_pred) print(f"模型准确率: {accuracy}") # 新数据预测 new_data = [[2, 0, 0, 1]] # (老年，否，否，一般) new_pred = clf.predict(new_data) result = "是" if new_pred[0] == 1 else "否" print(f"新数据({new_data})预测结果: {result}") # 决策树可视化 dot_data = export_graphviz(clf, out_file=None, feature_names=['年龄', '有工作', '有自己的房子', '信贷情况'], class_names=['否', '是'], filled=True, rounded=True, special_characters=True) graph = graphviz.Source(dot_data) graph
03-16
首先，用户导入了pandas、sklearn中的决策树分类器、数据集划分、准确率评估、可视化相关的模块，还有LabelEncoder。看起来这是一个标准的机器学习流程，包括数据预处理、模型训练、评估和可视化。 代码开始是读取...
"""用户价值分层预测全流程示例""" import pandas as pd import numpy as np from sklearn.preprocessing import OrdinalEncoder, StandardScaler from sklearn.impute import SimpleImputer from sklearn.model_selection import train_test_split from factor_analyzer import FactorAnalyzer from factor_analyzer.factor_analyzer import calculate_kmo from xgboost import XGBClassifier import lightgbm as lgb from sklearn.metrics import classification_report # ====================== # 1. 数据读取与清洗 # ====================== def load_and_clean(data_path): # 读取数据 df = pd.read_csv(data_path) # 缺失值处理 num_imputer = SimpleImputer(strategy='median') cat_imputer = SimpleImputer(strategy='most_frequent') # 数值型字段 numeric_cols = ['付费金额', '活跃时长', '广告收入', '留存'] df[numeric_cols] = num_imputer.fit_transform(df[numeric_cols]) # 分类型字段 categorical_cols = ['设备价值档位', '用户初始广告档位'] df[categorical_cols] = cat_imputer.fit_transform(df[categorical_cols]) # 异常值处理 df['活跃时长'] = np.where(df['活跃时长'] > 24, 24, df['活跃时长']) df['付费金额'] = np.where( df['付费金额'] > df['付费金额'].quantile(0.99), df['付费金额'].quantile(0.95), df['付费金额'] ) return df # ====================== # 2. 特征工程 # ====================== def feature_engineering(df): # 构造复合特征 df['ARPU密度'] = df['付费金额'] / (df['活跃天数'] + 1) df['广告展示率'] = df['广告曝光次数'] / df['短剧观看次数'] df['内容互动指数'] = np.log1p(df['收藏数'] * 1 + df['分享数'] * 2 + df['评论数'] * 3) # 分类变量编码 encoder = OrdinalEncoder(handle_unknown='use_encoded_value', unknown_value=-1) cat_cols = ['设备价值档位', '用户初始广告档位'] df[cat_cols] = encoder.fit_transform(df[cat_cols]) return df # ====================== # 3. 特征筛选与降维 # ====================== def feature_selection(df, target_col='付费意愿档位'): # 划分特征和目标 X = df.drop(columns=[target_col]) y = df[target_col] # 计算IV值筛选 from sklearn.feature_selection import mutual_info_classif iv_values = mutual_info_classif(X, y) iv_df = pd.DataFrame({'feature': X.columns, 'iv': iv_values}) selected_features = iv_df[iv_df['iv'] > 0.02]['feature'].tolist() X_selected = X[selected_features] # 因子分析降维 kmo_all, kmo_model = calculate_kmo(X_selected) if kmo_model > 0.6: fa = FactorAnalyzer(n_factors=5, rotation='varimax') fa.fit(X_selected) factor_scores = fa.transform(X_selected) factor_cols = [f'Factor_{i}' for i in range(1, 6)] X_factors = pd.DataFrame(factor_scores, columns=factor_cols) else: X_factors = X_selected.copy() return X_factors, y # ====================== # 4. XGBoost特征筛选 # ====================== def xgb_feature_importance(X, y): # 训练XGBoost模型 model = XGBClassifier( objective='multi:softmax', eval_metric='mlogloss', use_label_encoder=False ) model.fit(X, y) # 获取特征重要性 importance = pd.DataFrame({ 'feature': X.columns, 'importance': model.feature_importances_ }).sort_values('importance', ascending=False) top10_features = importance.head(10)['feature'].tolist() return X[top10_features] # ====================== # 5. LightGBM建模预测 # ====================== def lgb_modeling(X, y): # 数据划分 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, stratify=y, random_state=42 ) # 模型训练 model = lgb.LGBMClassifier( num_leaves=31, max_depth=5, learning_rate=0.1, n_estimators=300, class_weight='balanced' ) model.fit(X_train, y_train) # 模型评估 y_pred = model.predict(X_test) print(classification_report(y_test, y_pred)) return model # ====================== # 主流程执行 # ====================== if __name__ == "__main__": # 数据路径 DATA_PATH = "new.csv" # 执行流程 df = load_and_clean(DATA_PATH) df = feature_engineering(df) X, y = feature_selection(df) X_top10 = xgb_feature_importance(X, y) final_model = lgb_modeling(X_top10, y) # 模型保存 final_model.booster_.save_model('user_value_model.txt')详细讲解这段代码
最新发布
05-12
from sklearn.model_selection import train_test_split # 数据分割 X_train, X_test, y_train, y_test = train_test_split( X[selected_features], y, test_size=0.2, stratify=y) # 定义参数 params = { '...
使用scikit-learn实现机器学习分类算法——初步使用感知器分类
lhy的博客
07-15 666
sklearn整体的使用过程： 1.数据准备 from sklearn import datasets iris = datasets.load_iris() X = iris.data[:,[2,3]] y = iris.target 2.将数据集划分为训练集隔和测试数据集 from sklearn.cross_validation import train_test_split X...
机器学习学习记录之sklearn特征选择SelectKBest函数
weixin_48266461的博客
02-26 8847
机器学习学习记录之sklearn特征选择SelectKBest函数 首先申明本人为小白，只是为了方便记录自己的学习过程并且监督自己所写的专栏，有什么问题欢迎各位大佬在评论区指正或者讨论。另外，需要引用请注明出处（虽然不是完全原创但是也是自己辛辛苦苦查资料写的啊QAQ），谢谢。 言归正传，遇到这个函数正如标题所言是在学习特征选择时，看到知乎上的回答“机器学习中，有哪些特征选择的工程方法？”（作者：城东链接：https://www.zhihu.com/question/28641663/answer/11016
sklearn.feature_selection
marmalade要天天向上
07-15 1218
https://scikit-learn.org/stable/modules/generated/sklearn.feature_selection.SelectKBest.html 注意：sklearn.feature_selection 和sklearn.feature_extraction不是一回事奥！
人工智能|机器学习——感知器算法原理与python实现
也许有一天我们再相逢 睁开眼睛看清楚 我才是英雄！
11-28 1453
人工智能|机器学习——感知器算法原理与python实现
特征选择函数--selectKBest
m0_54510474的博客
10-09 4925
sklearn.selection子类中的特征选择函数SelectKBest()函数api简介
sklearn feature selection特征选择
zhuzuwei的博客
07-10 2828
1
利用sklearn实现感知机（perceptron）算法
热门推荐
飘过的春风
02-28 1万+
一、感知机（perceptron）感知机简介：感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别。感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面。感知机是一种线性分类模型。感知机实际上表示为输入空间到输出空间的映射函数，如下所示：           其中，和称为感知机的模型参数，叫做权值（weight）或权值向量（weight v...
sklearn实验1——使用感知器对鸢尾花数据分类
lyb06的博客
04-08 4170
感知器算法是最简单的可以学习的机器。感知器算法是很多更复杂算法的基础，如支持向量机和多层感知器人工神经网络。
sklearn.linear_model.Perceptron感知机模型参数、属性解释及实操
zero33325的博客
07-14 8094
文章目录1. sklearn.linear_model.Perceptron参数解释2. sklearn.linear_model.Perceptron属性解释3. sklearn.linear_model.Perceptron实战 关于感知机算法的原理，数学推导，python手动实现可以查看本人的这篇文章 1. sklearn.linear_model.Perceptron参数解释 用于创建感知机模型时传递的参数。 参数名称 参数取值 参数解释 penalty 默认=None，即不加惩罚项
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值