机器学习建模高级用法!构建企业级AI建模流水线 ⛵

使用cube studio开发机器学习建模的pipeline 在使用cube studio进行模型训练或推理的过程中,我们有时会发现没有符合自己要求的模板,此时我们就需要自己创建模板,并构建pipeline,以便今后在相似的建模或监控场景中直接使用,方便复用和调度。以下就以构建random forest建模的pipeline为例,记录一下如何用cube studio构建pipeline。 阅读详情

💡 作者:韩信子@ShowMeAI
📘 机器学习实战系列: https://www.showmeai.tech/tutorials/41
📘 本文地址:https://www.showmeai.tech/article-detail/287
📢 声明:版权所有,转载请联系平台与作者并注明出处
📢 收藏ShowMeAI查看更多精彩内容

机器学习与流水线(pipeline)简介

我们知道机器学习应用过程包含很多步骤,如图所示『标准机器学习应用流程』,有数据预处理、特征工程、模型训练、模型迭代优化、部署预估等环节。

在简单分析与建模时,可以对每个板块进行单独的构建和应用。但在企业级应用中,我们更希望机器学习项目中的不同环节有序地构建成工作流(pipeline),这样不同流程步骤更易于理解、可重现、也可以防止数据泄漏等问题。

常用的机器学习建模工具,比如 Scikit-Learn,它的高级功能就覆盖了 pipeline,包含转换器、模型和其他模块等。

关于 Scikit-Learn 的应用方法可以参考ShowMeAI 📘机器学习实战教程 中的文章 📘SKLearn最全应用指南,也可以前往 Scikit-Learn 速查表 获取高密度的知识点清单。

但是,SKLearn 的简易用法下,如果我们把外部工具库,比如处理数据样本不均衡的 imblearn合并到 pipeline 中,却可能出现不兼容问题,比如有如下报错:

TypeError: All intermediate steps should be transformers and implement fit and transform or be the string ‘passthrough’ ‘SMOTE()’ (type <class ‘imblearn.over_sampling._smote.base.SMOTE’>) doesn’t

本文以『客户流失』为例,讲解如何构建 SKLearn 流水线,具体地说包含:

  • 构建一个流水线(pipeline) ,会覆盖到 Scikit-Learn、 imblearn 和 feature-engine 工具的应用
  • 在编码步骤(例如 one-hot 编码)之后提取特征
  • 构建特征重要度图

最终解决方案如下图所示:在一个管道中组合来自不同包的多个模块。

我们下面的方案流程,覆盖了上述的不同环节:

  • 步骤 ①:数据预处理:数据清洗
  • 步骤 ②:特征工程:数值型和类别型特征处理
  • 步骤 ③:样本处理:类别非均衡处理
  • 步骤 ④:逻辑回归、xgboost、随机森林 及 投票集成
  • 步骤 ⑤:超参数调优与特征重要度分析

💡 步骤0:准备和加载数据

我们先导入所需的工具库。

# 数据处理与绘图
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# Sklearn工具库
from sklearn.model_selection import train_test_split, RandomizedSearchCV, RepeatedStratifiedKFold, cross_validate

# pipeline流水线相关
from sklearn import set_config
from sklearn.pipeline import make_pipeline, Pipeline
from imblearn.pipeline import Pipeline as imbPipeline
from sklearn.compose import ColumnTransformer, make_column_selector
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import OneHotEncoder, MinMaxScaler

# 常数列、缺失列、重复列 等处理
from feature_engine.selection import DropFeatures, DropConstantFeatures, DropDuplicateFeatures

# 非均衡处理、样本采样
from imblearn.over_sampling import SMOTE
from imblearn.under_sampling import RandomUnderSampler

# 建模模型
from xgboost import XGBClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier, VotingClassifier
from sklearn.metrics import roc_auc_score
from sklearn.inspection import permutation_importance
from scipy.stats import loguniform

# 流水线可视化
set_config(display="diagram")

如果你之前没有听说过 imblearn 和 feature-engine 工具包,我们做一个简单的说明:

  • 📘Imblearn 可以处理类别不平衡的分类问题,内置不同的采样策略
  • 📘feature-engine 用于特征列的处理(常数列、缺失列、重复列 等)

数据集:报纸订阅用户流失

我们这里用到的数据集来自 Kaggle 比赛 Newspaper churn。数据集包括15856条现在或曾经订阅该报纸的个人记录。

🏆 实战数据集下载(百度网盘):公众号『ShowMeAI研究中心』回复『实战』,或者点击 这里 获取本文 [14] 机器学习建模应用流水线 pipeline 『Newspaper churn 数据集』

⭐ ShowMeAI官方GitHub:https://github.com/ShowMeAI-Hub

数据集包含人口统计信息,如代表家庭收入的HH信息、房屋所有权、小孩信息、种族、居住年份、年龄范围、语言;地理信息如地址、州、市、县和邮政编码。另外,用户选择的订阅期长,以及与之相关的收费数据。该数据集还包括用户的来源渠道。最后会有字段表征客户是否仍然是我们的订户(是否流失)。

数据预处理与切分

我们先加载数据并进行预处理(例如将所有列名都小写并将目标变量转换为布尔值)。

# 读取数据
data = pd.read_excel("NewspaperChurn new version.xlsx")

#数据预处理
data.columns = [k.lower().replace(" ", "_") for k in data.columns]
data.rename(columns={'subscriber':'churn'}, inplace=True)
data['churn'].replace({'NO':False, 'YES':True}, inplace=True)

# 类型转换
data[data.select_dtypes(['object']).columns] = data.select_dtypes(['object']).apply(lambda x: x.astype('category'))

# 取出特征列和标签列
X = data.drop("churn", axis=1)
y = data["churn"]

# 训练集验证集切分
X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2)

预处理过后的数据应如下所示:

💡 步骤1:数据清洗

我们构建的 pipeline 流程的第一步是『数据清洗』,删除对预测没有帮助的列(比如 id 类字段,恒定值字段,或者重复的字段)。

# 步骤1:数据清洗+字段处理
ppl = Pipeline([
    ('drop_columns', DropFeatures(['subscriptionid'])),
    ('drop_constant_values', DropConstantFeatures(tol=1, missing_values='ignore')),
    ('drop_duplicates', DropDuplicateFeatures())
])

上面的代码创建了一个 pipeline 对象,它包含 3 个步骤:drop_columns、drop_constant_values、drop_duplicates。

这些步骤是元组形态的,第一个元素定义了步骤的名称(如 drop_columns),第二个元素定义了转换器(如 DropFeatures())。

这些简单的步骤,大家也可以通过 pandas 之类的外部工具轻松完成。 但是,我们在组装流水线时的想法是在pipeline中集成尽可能多的功能。

💡 步骤2:特征工程与数据变换

在前面剔除不相关的列之后,我们接下来做一下缺失值处理和特征工程。 可以看到数据集包含不同类型的列(数值型和类别型 ),我们会针对这两个类型定义两个独立的工作流程。

关于特征工程,可以查看ShowMeAI 📘机器学习实战教程 中的文章 📘机器学习特征工程最全解读。

# 数据处理与特征工程pipeline

ppl = Pipeline([
    # ① 剔除无关列
    ('drop_columns', DropFeatures(['subscriptionid'])),
    ('drop_constant_values', DropConstantFeatures(tol=1, missing_values='ignore')),
    ('drop_duplicates', DropDuplicateFeatures()),
    
    # ② 缺失值填充与数值/类别型特征处理
    ('cleaning', ColumnTransformer([
        # 2.1: 数值型字段缺失值填充与幅度缩放
        ('num',make_pipeline(
            SimpleImputer(strategy='mean'),
            MinMaxScaler()),
         make_column_selector(dtype_include='int64')
        ),
        # 2.2:类别型字段缺失值填充与独热向量编码
        ('cat',make_pipeline(
            SimpleImputer(strategy='most_frequent'),
            OneHotEncoder(sparse=False, handle_unknown='ignore')),
         make_column_selector(dtype_include='category')
        )])
    )
])

添加一个名为clearning 的步骤,对应一个 ColumnTransformer 对象。

在 ColumnTransformer 中,设置了两个新 pipeline:一个用于处理数值型,一个用于类别型处理。 通过 make_column_selector 函数确保每次选出的字段类型是对的。

这里使用 dtype_include 参数选择对应类型的列,这个函数也可以提供列名列表或正则表达式来选择。

💡 步骤3:类别非均衡处理(数据采样)

在『用户流失』和『欺诈识别』这样的问题场景中,一个非常大的挑战就是『类别不平衡』——也就是说,流失用户相对于非流失用户来说,数量较少。

这里我们会采用到一个叫做 im``blearn 的工具库来处理类别非均衡问题,它提供了一系列数据生成与采样的方法来缓解上述问题。 本次选用 SMOTE 采样方法来对少的类别样本进行重采样。

SMOTE类别非均衡处理

添加 SMOTE 步骤后的 pipeline 如下:

# 总体处理pipeline

ppl = Pipeline([
    # ① 剔除无关列
    ('drop_columns', DropFeatures(['subscriptionid'])),
    ('drop_constant_values', DropConstantFeatures(tol=1, missing_values='ignore')),
    ('drop_duplicates', DropDuplicateFeatures()),
    
    # ② 缺失值填充与数值/类别型特征处理
    ('cleaning', ColumnTransformer([
        # 2.1: 数值型字段缺失值填充与幅度缩放
        ('num',make_pipeline(
            SimpleImputer(strategy='mean'),
            MinMaxScaler()),
         make_column_selector(dtype_include='int64')
        ),
        # 2.2:类别型字段缺失值填充与独热向量编码
        ('cat',make_pipeline(
            SimpleImputer(strategy='most_frequent'),
            OneHotEncoder(sparse=False, handle_unknown='ignore')),
         make_column_selector(dtype_include='category')
        )])
    ),
    # ③ 类别非均衡处理:重采样
    ('smote', SMOTE())
])

pipeline 特征校验

在最终构建集成分类器模型之前,我们查看一下经过 pipeline 处理得到的特征名称和其他信息。

pipeline 对象提供了一个名为 get_feature_names_out() 的函数,我们可以通过它获取特征名称。但在使用它之前,我们必须在数据集上拟合。 由于第 ③ 步 SMOTE 处理仅关注我们的标签 y 数据,我们暂时忽略它并专注于第 ① 和 ② 步。

# 拟合数据,获取pipeline构建的特征名称和信息
ppl_fts = ppl[0:4]
ppl_fts.fit(X_train, y_train)
features = ppl_fts.get_feature_names_out()
pd.Series(features)

结果如下所示:

0                    num__year_of_residence
1                             num__zip_code
2                       num__reward_program
3        cat__hh_income_$  20,000 - $29,999
4        cat__hh_income_$  30,000 - $39,999
                        ...                
12122               cat__source_channel_TMC
12123            cat__source_channel_TeleIn
12124           cat__source_channel_TeleOut
12125               cat__source_channel_VRU
12126          cat__source_channel_iSrvices
Length: 12127, dtype: object

由于独热向量编码,许多带着 cat_ 开头(代表 category)的特征名已被创建。

如果大家想得到上面流程图一样的 pipeline 可视化,只需在代码中做一点小小的修改,在调用 pipeline 对象之前在您的代码中添加 set_config(display="diagram")。

💡 步骤4:构建集成分类器

下一步我们训练多个模型,并使用功能强大的集成模型(投票分类器)来解决当前问题。

关于这里使用到的逻辑回归、随机森林和 xgboost 模型,大家可以在 ShowMeAI 的 📘图解机器学习算法教程 中看到详细的原理讲解。

# 逻辑回归模型
lr = LogisticRegression(warm_start=True, max_iter=400)
# 随机森林模型
rf = RandomForestClassifier()
# xgboost
xgb = XGBClassifier(tree_method="hist", verbosity=0, silent=True)
# 用投票器进行集成
lr_xgb_rf = VotingClassifier(estimators=[('lr', lr), ('xgb', xgb), ('rf', rf)], 
                             voting='soft')

定义集成模型后,我们也把它集成到我们的 pipeline 中。

# 总体处理pipeline

ppl = imbPipeline([
    # ① 剔除无关列
    ('drop_columns', DropFeatures(['subscriptionid'])),
    ('drop_constant_values', DropConstantFeatures(tol=1, missing_values='ignore')),
    ('drop_duplicates', DropDuplicateFeatures()),
    
    # ② 缺失值填充与数值/类别型特征处理
    ('cleaning', ColumnTransformer([
        # 2.1: 数值型字段缺失值填充与幅度缩放
        ('num',make_pipeline(
            SimpleImputer(strategy='mean'),
            MinMaxScaler()),
         make_column_selector(dtype_include='int64')
        ),
        # 2.2:类别型字段缺失值填充与独热向量编码
        ('cat',make_pipeline(
            SimpleImputer(strategy='most_frequent'),
            OneHotEncoder(sparse=False, handle_unknown='ignore')),
         make_column_selector(dtype_include='category')
        )])
    ),
    # ③ 类别非均衡处理:重采样
    ('smote', SMOTE()),
    # ④ 投票器集成
    ('ensemble', lr_xgb_rf)
])

大家可能会注意到,我们在第1行中使用到的 Pipeline 替换成了 imblearn 的 imbPipeline 。这是很关键的一个处理,如果我们使用 SKLearn 的 pipeline,在拟合时会出现文初提到的错误:

TypeError: All intermediate steps should be transformers and implement fit and transform or be the string 'passthrough' 'SMOTE()' (type <class 'imblearn.over_sampling._smote.base.SMOTE'>) doesn't

到这一步,我们就把基本的 pipeline 流程构建好了。

💡 步骤5:超参数调整和特征重要性

超参数调优

我们构建的整条建模流水线中,很多组件都有超参数可以调整,这些超参数会影响最终的模型效果。对 pipeline 如何进行超参数调优呢,我们选用随机搜索 RandomizedSearchCV 对超参数进行调优,代码如下。

关于搜索调参的详细原理知识,大家可以查看 ShowMeAI 在文章 📘网络优化: 超参数调优、正则化、批归一化和程序框架 中的介绍。

大家特别注意代码中的命名规则。

# 超参数调优
params = {
    'ensemble__lr__solver': ['newton-cg', 'lbfgs', 'liblinear'],
    'ensemble__lr__penalty': ['none', 'l1', 'l2', 'elasticnet'],
    'ensemble__lr__C': loguniform(1e-5, 100),
    'ensemble__xgb__learning_rate': [0.1],
    'ensemble__xgb__max_depth': [7, 10, 15, 20],
    'ensemble__xgb__min_child_weight': [10, 15, 20, 25],
    'ensemble__xgb__colsample_bytree': [0.8, 0.9, 1],
    'ensemble__xgb__n_estimators': [300, 400, 500, 600],
    'ensemble__xgb__reg_alpha': [0.5, 0.2, 1],
    'ensemble__xgb__reg_lambda': [2, 3, 5],
    'ensemble__xgb__gamma': [1, 2, 3],
    'ensemble__rf__max_depth': [7, 10, 15, 20],
    'ensemble__rf__min_samples_leaf': [1, 2, 4],
    'ensemble__rf__min_samples_split': [2, 5, 10],
    'ensemble__rf__n_estimators': [300, 400, 500, 600],
}

# 随机搜索调参
rsf = RepeatedStratifiedKFold(random_state=42)
clf = RandomizedSearchCV(ppl, params,scoring='roc_auc', verbose=2, cv=rsf)
clf.fit(X_train, y_train)

# 输出信息
print("Best Score: ", clf.best_score_)
print("Best Params: ", clf.best_params_)
print("AUC:", roc_auc_score(y_val, clf.predict(X_val)))

解释一下上面代码中的超参数命名:

  • 第一个参数( ensemble__ ):我们的 VotingClassifier 的名称
  • 第二个参数( lr__ ):我们集成中使用的模型的名称
  • 第三个参数( solver ):模型相关超参数的名称

因为这里是类别不平衡场景,我们使用重复分层 k-fold ( RepeatedStratifiedKFold)。

超参数调优这一步也不是必要的,在简单的场景下,大家可以直接使用默认参数,或者在定义模型的时候敲定超参数。

特征重要度图

为了不让我们的模型成为黑箱模型,我们希望对模型做一些解释,其中最重要的是归因分析,我们希望了解哪些特征是重要的,这里我们对特征重要度进行绘制。

# https://inria.github.io/scikit-learn-mooc/python_scripts/dev_features_importance.html
# 绘制特征重要度
def plot_feature_importances(perm_importance_result, feat_name):
    """ bar plot the feature importance """
    fig, ax = plt.subplots()


    indices = perm_importance_result['importances_mean'].argsort()
    plt.barh(range(len(indices)),
             perm_importance_result['importances_mean'][indices],
             xerr=perm_importance_result['importances_std'][indices])
    ax.set_yticks(range(len(indices)))
    ax.set_title("Permutation importance")
    
    tmp = np.array(feat_name)
    _ = ax.set_yticklabels(tmp[indices])


# 获取特征名称
ppl_fts = ppl[0:4]
ppl_fts.fit(X_train, y_train)
features = ppl_fts.get_feature_names_out()


# 用乱序法进行特征重要度计算和排列,以及绘图
perm_importance_result_train = permutation_importance(clf, X_train, y_train, random_state=42)
plot_feature_importances(perm_importance_result_train, features)

上述代码运行后的结果图如下,我们可以看到特征 hh_income 在预测中占主导地位。 由于这个特征其实是可以排序的(比如 30-40k 比 150-175k 要小),我们可以使用不同的编码方式(比如使用 LabelEncoding 标签编码)。

以上就是完整的机器学习流水线构建过程,大家可以看到,pipeline 可以把不同的环节集成在一起,一次性运行与调优,代码和流程都更为简洁紧凑,效率也更高。

参考资料

数据预处理与特征工程—1.不均衡样本集采样—SMOTE算法与ADASYN算法 文章目录一、第一种思路:平衡采样1.SMOTE算法二、第二种思路:使用新的指标   在训练二分类模型中,例如医疗诊断、网络入侵检测、信用卡反欺诈等,经常会遇到正负样本不均衡的问题。直接采用正负样本非常不均衡的数据集进行训练学习会遇到很多问题。使用不平衡数据集的挑战在于,大多数机器学习技术将忽略少数类,并且反过来在少数类上表现不佳,尽管通常最重要的是少数类(比如申请卡中的逾期)。 比如:正负样本比例是99:1,那么分类器将所有样本都预测成正样本就有99%的正确率 当碰到样本类别不均衡的情况下,占比大的类别 阅读详情

相关推荐

xgb模型json转pmml

需要改变加载模型的方式,首先创建 XGBClassifier或XGBRegressor类对象,创建Booster对象加载模型,将booster对象赋值给模型对象的_Booster属性,然后把模型对象传入PMMLPipeLine的创建参数里,模型对象实现了fit方法,因此上面的问题解决。总结:(1)对xgb模型的加载,可以通过booster的方式,但是该类没有实现fit方法,也可以创建具体的分类或回归的模型对象,将booser赋值给模型对象的_Booster, 通过模型对象进行predict。

zcc_0015的专栏 979

Elasticsearch7.17 六 :ES高级功能和数据建模

关系型数据库范式化(Normalize)设计的主要目标是减少不必要的更新,往往会带来一些副作用:反范式化(Denormalize)的设计不使用关联关系,而是在文档中保存冗余的数据拷贝。关系型数据库,一般会考虑Normalize 数据;在Elasticsearch,往往考虑Denormalize 数据。 Elasticsearch并不擅长处理关联关系,一般会采用以下四种方法处理关联:案例1: 博客作者信息 当我们查询博客信息的同时需要知道作者信息,那么把作者信息当成一个对象放到博客信息当中 案例2:包含对象数

admin522043032的博客 1357

MLOPS:大数据/服务器下的大规模机器学习技术—流水线处理技术的简介(标准化/自动化/可复用化)、常用框架(Pipeline/TFX、Airflow/Beam/Kubeflow/MLflow、Fli

​ MLOPS:大数据/服务器下的大规模机器学习技术—流水线处理技术的简介(标准化/自动化/可复用化)、常用框架(Pipeline/TFX、Airflow/Beam/Kubeflow/MLflow、Flink/Kafka)之详细攻略 目录 流水线处理技术的简介 流水线处理技术的常用框架和工具 流水线处理技术的实战案例 流水线处理技术的简介 1、流水线处理技术的概述(标准化/自动化/可复用化) 简介 流水线处理技术是指将一系列的数据处理操作组合成一个处理流程,以完成一个特定的任务

头部AI社区如有邀博主AI主题演讲请私信—心比天高,仗剑走天涯,保持热爱,奔赴向梦想!低调,专注,谦虚,自律,反思,成长,还算比较正能量的博主,公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然,有点小情怀,也有点使命感呀 1514

All estimators should implement fit and transform, or can be ‘drop‘ or ‘passthrough‘ specifiers.

All estimators should implement fit and transform, or can be 'drop' or 'passthrough' specifiers.

ifhuke的博客 906

最新Mamba环境配置教程:从CUDA到causal-conv1d的完整安装流程

本文提供最新Mamba环境配置教程,涵盖从CUDA到causal-conv1d的完整安装流程。针对深度学习领域的长序列处理需求,详细指导如何正确配置CUDA工具链、安装PyTorch及关键依赖causal-conv1d,解决常见报错问题,并验证mamba-ssm集成效果。

bush的博客 418

vivado Block Design 设计 .tcl 文件使用,导出,修改,添加方式

在vivado中生成 Block Design可以导出tcl文件进行保存(体积小),或者在别的版本vivado中打开(版本互通),这是一个非常好的功能。另外GitHub中很多项目都是采用这种方式上传的,学会如何使用可以快速修改历程项目。

2203_75345038的博客 2494

新质生产力:AI大模型在制造业的深度融合与应用

在当今这个快速变化的工业时代,制造业正站在一个新的历史起点。在这个转型的浪潮中,大模型技术以其卓越的理解和生成能力,为制造业带来了革命性的变革机遇。在大模型之前,AI在工业的应用有“一场景一训练一模型”的局限,而大模型的出现,其泛化能力不仅能有效提升AI在工业的应用场景,而且有望形成“基础模型+各类应用”的新范式。那么,大模型在制造业的应用场景究竟有哪些?它们又是如何改变我们的制造方式的呢?

2301_82275412的博客 2409

STM32 热敏电阻测量温度

1、硬件 STM32F103C8T6、热敏电阻传感器、OLED。 2、热敏电阻传感器的介绍

weixin_54721788的博客 1万+

AI大模型工业应用模式及其实现

人工智能是引领这一轮科技革命和产业变革的战略性技术,具有“头雁”效应,溢出带动性很强。通用人工智能大模型(以下简称“大模型”)作为人工智能从专用化迈向通用化的发展新阶段,是集智能感知、智能分析、智能决策、智能执行等功能于一体的泛在智能技术,通过数据、算力、算法三要素深度融合,实现生产要素优化配置。从生产结构来看,人工智能技术已成为现代工业生产的核心组成部分,能够大幅提高生产效率、优化资源配置、降低生产成本,为新型工业化发展提供强大的技术支持和动力。

xiangxueerfei的博客 1631

LabVIEW机器视觉通用软件

LabVIEW 通用视觉一款仿C模式的思想与方法 全网最精简零基础+通用视觉全套视频教程 只想把LabVIEW当作一种兴趣,结果却当成了职业 http://t.elecfans.com/c1181.html 本次(开源 )针对有一定视觉基础或项目开发经验的工程师量身打造视觉通用性系统(完全仿面向对象的原理),相对于一般的非标框架更具功能性,有效的解决复杂项目开发过程中的思路瓶颈。 LabVIEW通用视觉系统:通用软件可快速解决大部分简单的视觉开发项目,帮助众多软件工程师解决在非标视觉软件开发中的繁琐过程问

qq_21516871的博客 4611

EDA公司(一):Synopsys-- 主要 EDA 工具及其简介

Synopsys 是一家领先的电子设计自动化(EDA)软件公司,提供了一系列全面的产品和服务,旨在支持从概念设计到大规模生产的各个阶段。Synopsys 的 EDA 工具覆盖了芯片设计的各个方面,包括但不限于逻辑综合、静态时序分析、功能验证、物理实现、形式验证、测试插入、电源分析、信号完整性分析等。

MHD0815的博客 3313

解决数据不平衡

解决数据不平衡问题方案 机器学习中不平衡数据集的工具箱 软件包:imbalanced-learn0.3.2 介绍文档:https://pypi.python.org/pypi/imbalanced-learn/ API文档:http://contrib.scikit-learn.org/imbalanced-learn/stable/ 详细API:http://contrib.scikit-lea...

CoderBoom的博客 2867

基于UWB技术的自动跟随避障系统设计研究

基于UWB技术的自动跟随避障系统设计研究 摘要:目前我国针对自动跟随避障系统方面的研究较少,同时国内自动跟随避障系统仍然处在未成熟阶段,多数仍停留在应用蓝牙控制或摄像头捕捉这类跟随方式,但这类方式在实际应用过程中往往会出现易受干扰,精度差,易受环境干扰等问题,这不仅会降低自动跟随避障系统的性能,同时也会对用户造成诸多困扰。因此,就需要结合目前较为有效的UWB技术,对自动跟随避障系统进行设计。基于此,本文首先将会针对UWB技术展开概述,而后对基于UWB技术的自动跟随避障系统组成展开分析,进而对基于UWB技术的

qq_43543515的博客 7992

全自动化机器学习建模!效果吊打初级炼丹师! ⛵

全自动化机器学习建模!效果吊打初级炼丹师!本文汇总了常见开源库,PyCaret、H2O AutoML、TPOT、Auto-sklearn、FLAML、EvalML、AutoKeras、Auto-ViML、AutoGluon、MLBox,一起用起来吧!

ShowMeAI研究中心 1万+

手把手教你学基带SOC芯片(4.4.9)--基带芯片的电源管理实例:高通 Snapdragon 系列实例(十)

Snapdragon 888 通过支持多种深度睡眠模式,如 AOAC 模式、低功耗模式和深度睡眠模式,以及智能电源管理技术,实现了对功耗的精细管理。这些模式不仅延长了设备的电池寿命,还确保了用户在各种使用场景下的良好体验。无论是保持网络连接、限制后台活动,还是完全关闭不必要的功能,Snapdragon 888 都能够灵活应对,提供高效的功耗管理方案。

MHD0815的博客 741

04 HCM CPI SF集成-员工集成(一)

将员工主数据和组织数据从SAP Successfactors Employee CentraI复制到SAPERP或SAP S/4HANA,SAP SF CPI HCM集成

SAP CPI 147

Amazon re:Invent云计算盛宴

Amazon re:Invent 2023展示了生成式AI、无服务器架构和可持续计算的最新进展。AWS通过Bedrock、Lambda增强和Nitro系统升级,推动AI落地与基础设施革新,同时强化安全与绿色云实践,构建高粘性技术生态。

weixin_42599558的博客 923

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

使用Imblearn对不平衡数据进行随机重采样

我们希望为模型准备或分析的数据是完美的。但是数据可能有缺失的值、异常值和复杂的数据类型。我们需要做一些预处理来解决这些问题。但是有时我们在分类任务中会遇到不平衡的数据。因为在我们的生活中,数据不可能是平衡的,这种不平衡的情况非常常见而且需要进行修正。 例如,有一个二进制分类任务,数据中有100条记录(行),其中90行标记为1,其余10行标记为0。 有了这些数据,我们的模型就会有偏差。预测将由多数类主导。 为了防止这种情况的发生,我们可以使用现成的imblearn。 imblearn是一个开源的由麻省理工.

deephub 9230

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

小型流水线模型的制作

本文示例将实现R327a样机——一款5工序的小型流水线模型,包含铸锭送料、传送、搬运、模拟加工、码垛5个工序。

Robotway的博客 931

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

《3DMax建模实战:打造高效甜甜圈制作工程流水线》

与普通的单一物体建模不同,工业流水线建模需要考虑多个机械部件的协调配合、运动逻辑以及整体场景的布局,这对建模者的空间思维和技术能力提出了更高要求。甜甜圈作为广受欢迎的甜点,其制作过程本身就具有观赏性,通过3D技术再现这一过程不仅能用于工业设计展示,还可应用于广告宣传和教育培训等领域。这种复杂工业场景的建模不仅考验软件操作技巧,更需要良好的空间规划能力和对工业流程的理解。使用3DMax的平面图工具先绘制出各区域的布局草图,确定流水线的走向和关键设备的摆放位置。成功的建模始于充分的准备工作。

2302_82333551的博客 801

关于RandomOverSampler与Pipeline的组合

关于RandomOverSampler与Pipeline的组合 在数据预处理时,我尝试把RandomOverSampler放入到Pipeline中进行过采样,代码如下: pipe = Pipeline([ ('scaler', MinMaxScaler()), ('oversample', RandomOverSampler(random_state=42,shrinkage=0.1)), ('polyer', PolynomialFeatures(2)), ('select

hanerdong1997的博客 1595

机器学习入门实例-加州房价预测-2(数据整理)

矩阵不是很方便观察,可以直接排序median_house_value列,可以看出median_house_value与median_income的相关性挺大的。可以看到rooms_per_household比total_rooms和households的相关性都要高一点,bedrooms_per_room也是,但是population_per_household反而变差了,大概是不适合这种特征组合方式。当然,如果不组装pipeline,只是单独调用的话,这两点可以忽略掉。

陆沙的博客 1699

python抽样方法详解及实现

随机抽样—总体个数较少 每个抽样单元被抽中的概率相同,并且可以重现。随机抽样常常用于总体个数较少时,它的主要特征是从总体中逐个抽取。 1、抽签法 2、随机数法:随机数表、随机数骰子或计算机产生的随机数。 分层抽样——总体存在差异且对结果有影响 分层抽样是指在抽样时,将总体分成互不相交 [2] 的层,然后按照一定的比例,从各层独立地抽取一定数量的个体,将各层取出的个体合在一起作为样本的方法。层内...

qq_24591139的博客 2万+

python机器学习之流水线

流水线把数据挖掘过程的每个步骤保存在工作流中。 在数据挖掘过程中使用流水线,可以大大降低代码及操作的复杂度,优化流程结构,可以有效减少常见问题的发生。 流水线通过 Pipeline() 来实例化,需要传入的属性是一连串数据挖掘的步骤,其中前几个是转换器,最后一个必须是估计器。 以经典的鸢尾数据为例,通过以下该简单示例的代码,我们来对比感受使用与不使用流水线下代码的差别。 具体流程为:获取数据后,首先进行归一化处理,然后使用近邻算法预测,最后使用交叉检验输出平均准确率。

侯小啾技术博客 2805

Pyspark:使用Pipeline流水线进行机器学习

这篇博客只介绍如何使用Pyspark.ml中的Pipeline API构建端到端的机器学习流水线。

读万卷书 行万里路 2470

python机器学习之流水线,2024年最新Python源码剖析之Framwork层消息传递

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。检验准确率也为96.0%,达到了和上边传统写法一样的效果。

2401_84182337的博客 977
上一篇: 乐视员工:神仙哪有我舒坦;AI终于能写正则表达式了!传统组织管理学也被AI抢饭碗?算法工程师面试题总结;几篇前沿论文 | ShowMeAI资讯日报
下一篇: 听音识情绪 | 程序员手把手教你搭建神经网络,更快get女朋友情绪,求生欲max!⛵
ShowMeAI
博客等级 码龄5年 6514粉丝 672原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值