自然语言处理入门

第一章 自然语言处理入门

1 什么是自然语言处理

【什么是人工智能，分别对应哪几个领域】

AI是模仿甚至超越人的某项机能，NLP、CV、ASR
NLP是机器理解并生成人类语言

2 自然语言处理的发展简史

1950 -- 图灵提出“机器能思考吗”，划时代性的话题
1956 -- 达特茅斯会议，提出人工智能（Artificial Intelligence），AI的元年，之前都是人类智能（Human Intelligence）
1957-1970 -- NLP开始出现两大阵营：规则 + 统计
1994-1999 -- 统计学开始占据主导地位
2000-2012 -- 机器学习开始盛行
2012-2022 -- 传统的深度学习占据主导地位
2023 -- 大模型时代

• 基于规则举例：设计语言学规则，解析句子结构，例如一个句子由主谓宾构成。
• 基于统计举例：统计机器翻译模型，收集大量平行语料库，例如中英互译，统计不同短语的分配概率，计算给定源语言翻译为目标语言的可能性。

3 自然语言处理的应用场景

语音助手：小爱同学
机器翻译：谷歌翻译
搜素引擎：百度翻译
智能对话：文心一言
推荐系统：短视频app推荐
。。。