https://easyai.tech/ai-definition/tokenization/
首先声明，本人NLP小白，面试中国移动在线的时候，被问到如何分词的，我脱口而出说，是“英文”的比赛，等于说不需要分词。然后面试官接着说，你说的没错，英文没必要分词。
回来一Google，发现我错了！
自然语言处理中文和英文的区别
本文通过一次面试经历揭示了分词在自然语言处理中的重要性，即使对于英文文本，分词也是必要的，因为它帮助算法理解文本结构和意义。
本文通过一次面试经历揭示了分词在自然语言处理中的重要性，即使对于英文文本，分词也是必要的，因为它帮助算法理解文本结构和意义。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
