AI：初识NLP

自然语言处理 NLP

自然语言处理（Natural Language Processing，简称 NLP）是人工智能（AI）和计算语言学的重要分支，旨在实现计算机对自然语言的“理解”、“生成”、“分析”与“交互”。NLP 涉及语言学、计算机科学、统计学等多个学科，广泛应用于搜索引擎、智能客服、机器翻译、舆情分析等领域。

---

🧠 一、NLP 的核心任务

1. 文本预处理

用于将原始文本转化为机器能理解的结构化数据。

• 分词：将文本划分为词语（对中文尤其重要）
• 去停用词：移除“的”、“了”、“在”等无实际含义的词
• 词性标注：标注每个词的词性（名词、动词等）
• 词干提取 / 词形还原：将不同形式的词还原为基本形式（如 “running”→“run”）

2. 语言建模

估计词序列的概率。

• N-gram模型
• RNN/LSTM/Transformer 等神经网络模型

3. 句法分析