特征工程（五）length

最新推荐文章于 2025-03-07 14:12:40 发布
原创 最新推荐文章于 2025-03-07 14:12:40 发布 · 546 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一种文本预处理方法，通过统计文本中单词的长度，为后续的自然语言处理任务提供基础特征。使用Python pandas库读取训练和测试数据集，定义函数get_word_len来获取每个单词的长度，最后将结果保存为CSV文件。 
'''
将原始数据的word的长度特征，并将结果保存到本地

article特征可做类似处理

'''
df_train=pd.read_csv('train_set.csv')
df_test=pd.read_csv('test_set.csv')


def get_word_len(df_series):
	word_len=[]
	for row in df_series:
    	word_len.append(len(row.split(' ')))
    return word_len

df_train_word = pd.DataFrame({'id':df_train['id'].values.tolist(),'word_len':get_word_len(df_train['word_seg'])})
df_test_word = pd.DataFrame({'id':df_test['id'].values.tolist(),'word_len':get_word_len(df_test['word_seg'])})


df_train_word.to_csv('./train_word_len.csv',index=False)
df_test_word.to_csv('./test_word_len.csv',index=False)
Spark MLlib 特征工程系列—特征提取CountVectorizer
08-15 1万+
CountVectorizer的优点是，简单易用：易于理解和实现，适用于基本的文本分类任务。可解释性强：生成的特征向量中的每一维度对应词汇表中的一个词汇，易于解释。缺点是维度高：词汇表的大小可能很大，导致特征向量的维度非常高，可能需要处理大量的特征。稀疏矩阵：生成的特征向量通常是稀疏的，存储和计算上可能会浪费资源。无法捕捉词语顺序：CountVectorizer 只关注词的出现次数，忽略了词语的顺序和上下文信息。CountVectorizer 是一种将文本数据转换为特征向量的技术，通过统计词频来生成特征。
数据特征工程 | Python实现时间序列数据特征提取
前程算法屋的博客
08-20 1240
数据特征工程 | Python实现时间序列数据特征提取
Python华为机试(一)：字符串最后一个单词的长度
qq_41720020的博客
02-19 556
题目描述 计算字符串最后一个单词的长度，单词以空格隔开。 输入描述 一行字符串，非空，长度小于5000。 输出描述 整数N，最后一个单词的长度。 示例 输入：hello world 输出：5 思路1 统计空格的总个数，当遇到导数第一个空格时退出循环，并统计字符串剩余的元素个数 word = input() length = len(word) count = 0 for i in range(l...
特征工程全过程
郑德帅
12-03 7529
文章目录 简介 数据预处理 无量纲化 标准化 区间缩放法 标准化与归一化的区别 对定量特征二值化 对定性特征哑编码 缺失值计算 数据变换 回顾 特征选择 Filter 方差选择法 相关系数法 卡方检验 互信息法 Wrapper 递归特征消除法 Embedded 基于惩罚项的特征选择法 基...
使用sklearn做特征工程
Oner.wv的专栏
05-06 1万+
1 特征工程是什么？ 　　有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳，人们认为特征工程包括以下方面： 　　特征处理是特征工程的核心部分，sklearn提供了较为完整的特征处理方法，包括数据预处理，特征选择，降维等。...
特征工程：tsfresh构造时间序列特征
wbzhang233的博客
02-28 4387
时间序列特征工程构造工具tsfresh
机器学习中的特征建模（特征工程）和算法选型建模 - 以暴力破解识别为例
热门推荐
古月哲亭
05-18 1万+
catalogue 1. 特征工程是什么？有什么作用？ 2. 特征获取方案 - 如何获取这些特征？ 3. 特征观察 - 运用各种统计工具、图标等工具帮助我们从直观和精确层面认识特征中的概率分布 4. 特征处理 - 特征清洗 5. 特征护理 - 特征预处理 6. 特征处理 - 特征选择 7. 特征监控   1. 特征工程是什么？有什么作用？ 从某种程度上来说，数据和特征决定了机器学习的...
机器学习 数据特征分析------特征工程
shaiguchun9503的博客
08-02 3102
  目录 1 特征工程是什么？ 2 数据预处理 2.1 无量纲化 2.1.1 标准化 2.1.2 区间缩放法 2.1.3 标准化与归一化的区别 2.2 对定量特征二值化 2.3 对定性特征哑编码 2.4 缺失值计算 2.5 数据变换 2.6 回顾 3 特征选择 3.1 Filter 3.1.1 方差选择法 3.1.2 相关系数法 3.1.3 卡方检验 3.1.4...
机器学习笔记六——特征工程之数据预处理
weixin_45666566的博客
06-12 5177
特征工程之数据预处理1 处理缺失值2 处理异常值2.1 异常值检测2.2异常值处理3 处理类别不平衡问题4 图片数据扩充5 数据的特征表示 数据预处理 首先需要对数据进行预处理，一般常用的两种数据类型： 结构化数据。 结构化数据可以看作是关系型数据库的一张表，每列都有清晰的定义，包含了数值型和类别型两种基本类型；每一行数据表示一个样本的信息。 非结构化数据。 主要是文本、图像、音频和视频数据，其包含的信息无法用一个简单的数值表示，也没有清晰的类别定义，并且每个数据的大小互不相同。 1 处理缺失值
【Python学习笔记】——特征工程
孙悟充的博客
05-31 4227
目 录 1  特征工程1.1  什么是特征工程1.2  为什么特征工程很重要1.2.1  增加了模型选择的灵活性1.2.2  使参数优化变得简单1.2.3  得到更好的结果1.3  特征工程在机器学习中的步骤1.4  怎样做特征工程1.5...
Arc-length.rar_ARC length_MATLAB 弧长法_arc-length_buckling_结构稳定
07-14
在结构工程领域，结构稳定性是至关重要的考虑因素，特别是在设计承受大荷载或有潜在屈曲风险的系统时。"弧长法"（Arc-length method）是一种常用的数值方法，用于解决非线性问题，特别是涉及结构稳定性的计算。在...
【时序数据预测】序列数据预处理与特征工程
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
03-07 2530
下面给出一个较完整的序列数据预处理与特征工程指南，并分别提供 PyTorch 和 TensorFlow 两个端到端的实战案例（带详细代码）演示如何从原始时间序列中进行数据清洗、归一化、时间窗口划分以及特征工程（例如添加时间特征、移动平均/差分等常见技巧），最终提升序列模型（RNN/LSTM/GRU/Transformer 等）的预测性能与泛化能力。
【特征工程】：特征降维
YIAN爱学习的博客
11-14 1498
介绍了机器学习中特征降维的方法：低方差过滤法、PCA法和相关系数法的基本使用。
特征工程（七）SelectFromModel
Datawhale
09-23 3844
linearsvm """ 用linearsvm从tfidf(word)中挑选特征，并将结果保存到本地 tfidf(article)可做类似处理 """ import time import pickle from sklearn.feature_selection import SelectFromModel from sklearn.svm import LinearSVC t_sta...
特征工程（四）HashingVectorizer
Datawhale
09-23 3289
''' 将原始数据的word特征数字化为hash特征，并将结果保存到本地 article特征可做类似处理 ''' import pandas as pd from sklearn.feature_extraction.text import HashingVectorizer import pickle import time t_start = time.time() """======...
特征工程（一）countvectororizer
Datawhale
09-23 3269
''' 将原始数据的word特征数字化为countvector特征，并将结果保存到本地 article特征可做类似处理 ''' import pandas as pd from sklearn.feature_extraction.text import countvectororizer import pickle import time t_start = time.time() ""...
达观杯_比赛简介
Datawhale
09-11 2400
比赛内容 此次比赛，达观数据提供了一批长文本数据和分类信息，希望选手动用自己的智慧，结合当下最先进的NLP和人工智能技术，深入分析文本内在结构和语义信息，构建文本分类模型，实现精准分类。 评分规则 评分算法 binary-classification 评分标准 采用各个品类F1指标的算术平均值，它是Precision 和 Recall 的调和平均数。 其中，Pi是表示第i个种类对...
达观杯比赛复盘专题
Datawhale
09-30 1883
达观杯 比赛简介 特征工程 1.构建特征 countvectororizer TfidfVectorizer Doc2Vec HashingVectorizer length 降维lsa 和 lda SelectFromModel 2.组合特征 tfidf(word+article) tfidf(word+article)+lsa tfidf(word+article+length) lin...
特征工程代码
最新发布
03-29
### 特征工程示例代码 在机器学习项目中，特征工程是一个至关重要的环节。以下是基于 `scikit-learn` 的特征预处理和特征选择的完整示例代码。 #### 数据加载与初始化 首先导入必要的库并加载鸢尾花数据集： ```python import numpy as np import pandas as pd from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer from sklearn.preprocessing import StandardScaler, OneHotEncoder from sklearn.compose import ColumnTransformer from sklearn.ensemble import RandomForestClassifier from sklearn.feature_selection import SelectKBest, f_classif # 加载鸢尾花数据集 data = load_iris() X = pd.DataFrame(data.data, columns=data.feature_names) y = data.target # 添加一些分类特征和缺失值 np.random.seed(0) missing_indices = np.random.choice(X.index, size=10, replace=False) X.loc[missing_indices, 'sepal length (cm)'] = None X['category_feature'] = np.random.choice(['A', 'B', 'C'], size=len(X)) ``` #### 预处理管道 创建一个预处理管道来处理数值特征和分类特征： ```python numeric_features = ['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)'] categorical_features = ['category_feature'] numeric_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ]) preprocessor = ColumnTransformer( transformers=[ ('num', numeric_transformer, numeric_features), ('cat', categorical_transformer, categorical_features) ]) ``` #### 特征选择 通过统计检验方法（如 F 检验）进行特征选择： ```python selector = SelectKBest(score_func=f_classif, k=3) pipeline = Pipeline(steps=[ ('preprocessor', preprocessor), ('feature_selector', selector), ('classifier', RandomForestClassifier(random_state=42)) ]) ``` #### 训练与评估模型 将数据拆分为训练集和测试集，并训练随机森林分类器： ```python X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) pipeline.fit(X_train, y_train) score = pipeline.score(X_test, y_test) print(f"Model Accuracy: {score:.2f}") ``` 以上代码展示了如何使用 `scikit-learn` 进行完整的特征预处理、特征选择以及建模过程[^1]。 --- ### 数据降维示例 如果需要进一步降低维度，可以引入主成分分析（PCA），这是常见的无监督降维技术之一： ```python from sklearn.decomposition import PCA pca = PCA(n_components=2) X_pca = pca.fit_transform(preprocessor.transform(X)) df_pca = pd.DataFrame(X_pca, columns=['PC1', 'PC2']) print(df_pca.head()) ``` 此部分利用了 `PCA` 将高维数据降至二维空间以便可视化或简化后续计算[^2]。 --- ### 可视化异常检测 为了识别潜在的异常值，还可以借助箱线图完成初步探索： ```python import matplotlib.pyplot as plt plt.figure(figsize=(8, 6)) X.boxplot(column=numeric_features) plt.title('Box Plot of Numeric Features') plt.show() ``` 上述代码片段能够帮助快速定位可能存在的离群点[^3]。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值