18、文本数据特征工程：从二元组到嵌入的探索

文本数据特征工程：从二元组到嵌入的探索

1. 上下文特征与二元组

在处理文本数据时，为了融入单词间的顺序信息，常用的技术是使用二元组（bigrams），即按顺序排列的单词对。二元组能够捕捉局部的顺序关系。

1.1 二元组的应用与筛选

如果直接使用二元组，词汇量会显著增加（接近 600,000 个条目）。因此，会对二元组的最小出现次数进行阈值筛选，要求至少出现 50 次，这使得 99.98% 的二元组被舍弃，最终剩下 113 个。以下是随机抽取的 30 个二元组示例：
| Bigram | Bigram | Bigram |
| ---- | ---- | ---- |
| ,-former | town-toknumseg4 | three-smaller |
| toknumseg31-urban | war-town | lie-former |
| center-toknumseg31 | town-support | centr-music |
| toknumsmall-known | leader-movement | park-host |
| known-west | mall-high | activ-health |
| citi-toknumseg2 | modern-era | new-europ |
| high-old | delta-group | far-downtown |
| attract-toknumseg13 | rate-toknumseg0 | park-left |
| type-passeng | fair-liter