特征工程（五）length

Datawhale

于 2018-09-23 19:21:11 发布

阅读量522

点赞数

CC 4.0 BY-SA版权

分类专栏：达观杯nlp算法比赛总结

本文链接：https://blog.youkuaiyun.com/Datawhale/article/details/82824188

达观杯nlp算法比赛总结专栏收录该内容

20 篇文章

订阅专栏

本文介绍了一种文本预处理方法，通过统计文本中单词的长度，为后续的自然语言处理任务提供基础特征。使用Python pandas库读取训练和测试数据集，定义函数get_word_len来获取每个单词的长度，最后将结果保存为CSV文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

'''
将原始数据的word的长度特征，并将结果保存到本地

article特征可做类似处理

'''
df_train=pd.read_csv('train_set.csv')
df_test=pd.read_csv('test_set.csv')


def get_word_len(df_series):
	word_len=[]
	for row in df_series:
    	word_len.append(len(row.split(' ')))
    return word_len

df_train_word = pd.DataFrame({'id':df_train['id'].values.tolist(),'word_len':get_word_len(df_train['word_seg'])})
df_test_word = pd.DataFrame({'id':df_test['id'].values.tolist(),'word_len':get_word_len(df_test['word_seg'])})


df_train_word.to_csv('./train_word_len.csv',index=False)
df_test_word.to_csv('./test_word_len.csv',index=False)