Sklearn 机器学习 特征提取 字符串清理转数字

原创 于 2025-07-07 09:00:00 发布 · 709 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #sklearn #人工智能

💖亲爱的技术爱好者们，热烈欢迎来到 Kant2048 的博客！我是 Thomas Kant，很开心能在优快云上与你们相遇～💖

在这里插入图片描述

本博客的精华专栏：
【自动化测试】 【测试经验】 【人工智能】 【Python】

在这里插入图片描述

Sklearn 机器学习：特征提取中的字符串清理与数字转换

在机器学习建模过程中，我们经常会遇到混合格式的数据，尤其是包含 字符串+数字 的文本特征（如“￥123元”、“高(3.2分)”、“约50%”等），若不进行合理清洗与转换，将无法被模型有效利用。

本文将带你深入了解如何使用 Sklearn + Pandas 等工具，从原始字符串中提取数值特征，助力机器学习模型性能提升！

📌 一、应用场景举例

在实际项目中，以下场景非常常见：

  • 电商价格字段：如 "¥123.00"、"￥89元"。
  • 商品评分字段：如 "评分4.5分"、"高(3.2分)"。
  • 折扣/百分比信息：如 "约50%"、"优惠30%"。
  • 地理/温度类信息：如 "22℃"、"东经120度"。

这些特征的共同点是：带有无用符号、单位、前后缀，需清洗后转为数值，才能用于模型。

🔧 二、字符串转数值的常见方法

我们以 Pandas 的 Series 为例，介绍几种典型的字符串清理技巧。

2.1 正则表达式提取数字

import pandas as pd

s = pd.Series(["¥123.45", "89元", "100", "￥56.7"])
s_clean = s.str.extract
最低0.47元/天 解锁文章
机器学习Sklearn 学习总结1——特征工程
qq_50909707的博客
02-17 1333
一、数据集的划分 训练数据：用于训练，构建模型 测试数据：在模型检验时使用，用于评估模型是否有效 from sklearn.model_selection import train_test_split 测试集：20%~30% 二、特征工程 pandas 数据清理、数据处理 特征抽取/特征提取 机器学习算法 - 统计方法 - 数学公式 文本类型 ——>数值 类型——>数值 ...
【机器学习入门笔记】第二篇-特征提取
Y809714652的博客
07-08 1272
【机器学习入门笔记】第二篇-特征提取
【机器学习】手写数字识别器
天启和风的博客
07-13 1286
数字识别器的目标是设计和实现一个能够高准确率地对手写数字进行分类的系统。该系统可以通过学习MNIST数据集中的样本图像，提取特征并训练模型，从而能够对新的手写数字图像进行自动识别。
sklearn 相关性分析_用sklearn机器学习预测泰坦尼克号生存概率
weixin_39988164的博客
11-30 743
前言本文为练手记录，适用于刚入门的朋友参照阅读练习，大神请绕道，谢谢！阅读大约需要10分钟。一、理解项目概况并提出问题1.1 登陆官网查看项目概况Titanic: Machine Learning from Disaster​www.kaggle.com变量解释：下载三个数据集，测试数据，训练数据和预测数据。1.2 整体思路1.3 提出问题1）有没有可能一些特定的人群如妇女儿童会比大多数人更容易存...
机器学习入门基础（万字总结）（建议收藏！！！）
热门推荐
subsistent的博客
12-04 14万+
机器学习是人工智能的重要技术基础，涉及的内容十分广泛。本文章涵盖了机器学习的基础知识，主要包括机器学习的概述、 回归、分类、聚类、神经网络、文本分析、图像分析、深度学习等经典的机器学习基础知识，还包括深度学习入门等拔高内容。介绍机器学习的基础概念和知识，包括机器学习简史、主要流派、与人工智能、数据挖掘的关系、应用领域、算法、一般流程等。伴随着计算机计算能力的不断提升以及大数据时代的迅发展人工智能也取得了前所未有的进步。
[机器学习与scikit-learn-47]：特征工程-sklearn中的数据预处理和特征工程概述
文火冰糖（王文兵）的博客
04-05 2201
作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_优快云博客 本文网址：https://blog.youkuaiyun.com/HiWangWenBing/article/details/123966627 目录 前言： 第1章 机器学习/数据挖掘的一般处理流程 第2章 数据预处理该概述 2.1 什么是数据预处理 2.2 数据预处理的意义 2.3 数据预处理的方法 第3章sklearn中的数据预处理和特征工程 3.1 总体概述 3.2 数据预处理与缺失填补（数据预处.
机器学习：词向量转换及代码实现
mohanyelong的博客
08-30 1901
机器学习：词向量转换及代码实现
机器学习特征工程，全面指南！（下）
数据派THU
12-30 143
本文约11200字，建议阅读20分钟本指南是初学者的简明参考，提供了最简单但广泛使用的特征工程和选择技术。4 特征工程4.1 特征缩放定义：特征缩放是一种用于标准化数据自变量或特征范围的方法。在数据处理中，它也被称为数据归一化，通常在数据预处理步骤中执行。4.1.1 为什么特征缩放很重要如果输入范围发生变化，在某些算法中，目标函数将无法正常工作。梯度下降在完成特征缩放后收敛得更快。梯度下降是...
机器学习完整项目实战附代码(二)：探索型数据分析+特征工程+建模+报告
轩逸云的博客
05-26 8301
这是一个：给定一组包含目标（在本例中为价格：MEDV）的数据，我们希望训练一个可以学习将特征（也称为解释变量）映射到目标的模型。在训练中，我们希望模型能够学习特征和分数之间的关系，因此我们给出了特征和答案。然后，为了测试模型的学习效果，我们在一个从未见过答案的测试集上进行评估。
Python字符串数字提取与机器学习：数据科学的交叉点
![Python字符串数字提取与机器学习：数据科学的交叉点]...* 文本预处理：清理和标准化文本，提取数字特征 * 特征工程：转换和缩放数值特征，编码分类特征 * 情感分析：从文本中提取情
Python字符串与机器学习：探索字符串在机器学习中的作用，从文本数据中提取特征，提升模型准确性
!...# 1. Python字符串基础** Python字符串是用于表示文本数据的不可变序列。它们由一组字符组成，并使用单引号（'）或双引号（"）括起来。字符串具有丰富的内置方法和运算符，使您可以轻松地操作和... 字符串在机器学习
探索Python字符串数字提取的无限可能：扩展应用大揭秘
![探索Python字符串数字提取的无限可能：扩展应用大揭秘]...字符串数字提取涉及识别和提取字符串中的数字模式。Python提供了多种方法来实现此操作，包括： - `int()`
机器学习数学基础与Python实现
木头大左的博客
07-04 579
例如，正态分布（高斯分布）在许多自然现象中都有很好的近似。在机器学习中，拉格朗日乘数法常用于支持向量机（SVM）中的对偶问题求解。梯度下降法是一种优化算法，用于寻找函数的局部最小值。在机器学习中，通常使用梯度下降法来最小化损失函数。最大似然估计是一种参数估计方法，它通过最大化似然函数来找到模型参数的估计值。特征值和特征向量在许多机器学习算法中都有应用，特别是在主成分分析（PCA）和谱聚类中。，其中每一行代表一个样本，每一列代表一个特征。在机器学习中，数据通常以矩阵或向量的形式表示。\theta$的梯度。
【机器学习笔记Ⅰ】13 正则化代价函数
最新发布
weixin_44077623的博客
07-06 538
{\text{原始损失}} + \underbrace{\lambda \cdot R(\mathbf{w})}的核心技术，通过在原始代价函数中添加惩罚项，约束模型参数的大小，从而提高泛化能力。，合理使用能显著提升模型鲁棒性！正则化代价函数是机器学习中用于。{\text{正则化项}}
从生活实例看：点积、内积和矩阵乘法如何玩转机器学习
weixin_50233496的博客
07-03 647
本文通过生活化例子介绍了点积、内积和矩阵乘法在机器学习中的关键作用。点积衡量向量相似度，用于推荐系统和神经网络；内积是点积的扩展，在支持向量机和度量学习中发挥重要作用；矩阵乘法则是神经网络和降维算法的基础运算。三者在机器学习中密切配合，点积是矩阵乘法的基本单元，内积是其高级形式。理解这些数学工具的工作原理，有助于更好地应用机器学习解决实际问题。
学习笔记(27):线性回归基础与实战：从原理到应用的简易入门
fen_fen的专栏
07-02 479
学习笔记(27):线性回归基础与实战：从原理到应用的简易入门
机器学习两重疾病鉴别诊断预测模型
huanghm88的专栏
07-03 117
本文提出了一种基于Python的机器学习方案，用于构建两重疾病鉴别诊断预测模型。方案包含完整流程：1)数据预处理与缺失值处理；2)特征工程包括数值标准化和分类变量编码；3)采用逻辑回归、随机森林和SVM三种算法进行模型训练，并评估准确率、AUC-ROC等指标；4)通过网格搜索优化随机森林模型参数；5)最终输出混淆矩阵可视化结果和特征重要性分析。该方案为临床两种相似疾病的鉴别诊断提供了自动化决策支持工具，能够辅助医生进行更准确的诊断。
CHAIN（GAN的一种）训练自己的数据集
LJ1147517021的博客
07-05 64
作者针对数据有限场景下GANs训练中的判别器过拟合问题，提出了CHAIN（Lipschitz连续性约束归一化）方法。作者首先从理论角度分析了GAN泛化误差，发现减少判别器权重梯度范数对提升泛化能力至关重要。然后深入研究了批归一化（BN）在GAN判别器中应用困难的根本原因，通过理论分析证明BN的中心化和缩放步骤会导致梯度爆炸。基于这些发现，CHAIN设计了两个核心模块：用零均值正则化替代中心化步骤的0MR模块，以及带有Lipschitz约束的自适应均方根归一化ARMS模块。CHAIN通过自适应插值机制平衡归一
机器学习手写字体识别系统：技术演进与应用实践
yzx991013的博客
07-06 724
机器学习手写字体识别技术正从基础识别迈向认知智能，推动多行业数字化转型。该技术经历了从传统特征工程到深度学习的范式转变，CNN、RNN、Transformer等模型显著提升了识别性能，医疗处方识别效率提升30倍，古籍生僻字准确率达95%。当前面临小样本、多语言和复杂场景等挑战，解决方案包括元学习、多模态融合和边缘计算优化。未来趋势将聚焦小样本适应、认知增强和具身智能融合，使手写识别成为人机自然交互的核心入口。在教育、医疗、金融和文化保护等领域，该技术已实现效率革新，如作业批改时间缩短70%，处方错误率降低8
机器学习手写数字识别两位数代码
05-26
### 实现两位数手写数字识别的机器学习代码 对于两位数的手写数字识别问题，可以通过扩展经典的 MNIST 数据集方法来解决。MNIST 是一个单个手写数字的数据集 (0 到 9)，而两位数的情况则需要处理组合形式的图像或序列化输入。 以下是基于 K-近邻算法 (KNN) 和支持向量机 (SVM) 的两种实现方式： #### 方法一：使用 K-近邻算法 (KNN) ```python from sklearn.neighbors import KNeighborsClassifier from sklearn.model_selection import train_test_split import numpy as np # 假设我们有一个自定义数据集 `two_digit_dataset`，形状为 (n_samples, height * width) def load_two_digit_data(): # 加载两位数手写数字数据集 X = np.random.rand(1000, 784) # 示例数据，实际应替换为真实数据 y = ["{}{}".format(i // 10, i % 10) for i in range(100)] # 标签为字符串表示的两位数 return X, y X, y = load_two_digit_data() X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) knn = KNeighborsClassifier(n_neighbors=5) knn.fit(X_train, y_train) accuracy = knn.score(X_test, y_test) print(f"Accuracy on two-digit dataset using KNN: {accuracy:.2f}") ``` 此代码片段展示了如何加载两位数手写数字数据并应用 KNN 进行分类[^2]。注意，这里假设标签是以字符串形式存储的两位数组合（如 `"12"` 表示数字 1 和 2 组成的两位数）。 --- #### 方法二：使用卷积神经网络 (CNN) 卷积神经网络更适合处理复杂的图像模式，尤其是当两位数由单独的子图组成时。 ```python import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense # 构建 CNN 模型 model = Sequential([ Conv2D(32, kernel_size=(3, 3), activation='relu', input_shape=(28, 28, 1)), MaxPooling2D(pool_size=(2, 2)), Conv2D(64, kernel_size=(3, 3), activation='relu'), MaxPooling2D(pool_size=(2, 2)), Flatten(), Dense(128, activation='relu'), Dense(100, activation='softmax') # 输出层对应 100 种可能的两位数类别 ]) model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy']) # 假设我们已经准备好训练和测试数据 X_train_cnn = X_train.reshape(-1, 28, 28, 1).astype('float32') / 255.0 y_train_cnn = np.array([int(label) for label in y_train]) # 将标签转换为整数索引 X_test_cnn = X_test.reshape(-1, 28, 28, 1).astype('float32') / 255.0 y_test_cnn = np.array([int(label) for label in y_test]) model.fit(X_train_cnn, y_train_cnn, epochs=10, batch_size=32, validation_data=(X_test_cnn, y_test_cnn)) test_loss, test_accuracy = model.evaluate(X_test_cnn, y_test_cnn) print(f"CNN Test Accuracy: {test_accuracy:.2f}") ``` 在这个例子中，模型的最后一层具有 100 个单元，分别代表从 0 到 99 的所有可能两位数值。通过 softmax 函数计算概率分布，从而预测最有可能的两位数。 --- ### 处理异常值的影响 在构建模型之前，建议对数据进行预处理以减少噪声干扰。例如，在标注过程中可能存在人为错误导致的异常值，这些异常值会显著影响模型性能[^3]。可以采用如下策略清理数据： 1. **统计分析**：移除超出合理范围的样本。 2. **可视化检查**：手动审查可疑样本。 3. **鲁棒特征提取**：利用不变性较强的特征降低敏感度。 --- ### 控制过拟合的风险 为了避免模型过度拟合训练数据，可引入正则化技术或调整超参数。例如，在决策树场景下设置最大深度 (`max_depth`) 或最小分裂条件 (`minsplit`) 来约束复杂度[^4]。同样适用于其他类型的模型配置。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Thomas Kant

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值