本文介绍了一种基于n-gram的文本特征提取方法，并通过具体实例展示了如何使用Python的sklearn库进行文本向量化。文章包括了中文文本的分词处理、特征向量的生成及展示。
# n-gram
from sklearn.feature_extraction.text import CountVectorizer
import pandas as pd
import jieba
data = ["他用报话机向上级呼喊：“为了祖国，为了胜利，向我开炮！向我开炮！",
"记者：你怎么会说出那番话？",
"韦昌进：我只是觉得，对准我自己打，才有可能把上了我哨位的这些敌人打死，或者打下去。"]
data = [" ".join(jieba.lcut(e)) for e in data] # 分词，并用" "连接
vec = CountVectorizer(min_df=1, ngram_range=(1,2))
# ngram_range=(1,1) 表示 unigram, ngram_range=(2,2) 表示 bigram, ngram_range=(3,3) 表示 thirgramX = vec.fit_transform(data) # transform text to metrixvec.get_feature_names() # get featuresX.toarray()df = pd.DataFrame(X.toarray(), columns=vec.get_feature_names()) # to DataFrame
df.head()| 上级 | 上级 呼喊 | 下去 | 为了 | 为了 祖国 | 为了 胜利 | 只是 | 只是 觉得 | 可能 | 可能 哨位 | … | 觉得 | 觉得 对准 | 记者 | 记者 怎么 | 说出 | 说出 番话 | 这些 | 这些 敌人 | 韦昌进 | 韦昌进 只是 | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 1 | 1 | 0 | 2 | 1 | 1 | 0 | 0 | 0 | 0 | … | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | … | 0 | 0 | 1 | 1 | 1 | 1 | 0 | 0 | 0 | 0 |
| 2 | 0 | 0 | 1 | 0 | 0 | 0 | 1 | 1 | 1 | 1 | … | 1 | 1 | 0 | 0 | 0 | 0 | 1 | 1 | 1 | 1 |
3 rows × 45 columns
扫一扫
229
到【灌水乐园】发言
