自然语言处理（国科大2021-2022秋季学期课程）-基础概念及算法

声明： 部分图片来自于课程讲义，（刘洋，宗成庆）

数学基础

拉格朗日乘子法

熵、相对熵、交叉熵

隐马尔科夫模型

马尔科夫模型

前向、后向算法：观测状态序列概率计算

前向概率

后向概率

Viterbi算法：最优隐状态序列计算

支持向量机

KKT条件

⽀持向量机中的KKT条件：

松弛变量

神经网络

递归神经网络

循环神经⽹络的⼀⼤特点是通过参数共享实现参数规模与序列长度的⽆关性，从⽽显著降低了存储要求。

循环神经⽹络的另⼀个特点是串⾏计算。由于输⼊向量、隐藏向量和输出向量在不同位置上存在着严格的依赖关系，必须等待前继向量计算完成，才能够计算后继向量。

卷积神经网络

多通道卷积

注意力神经网络

语言模型

n-gram

数据平滑

词法分析

基本概念

组合型歧义与交集型歧义

分词与词性标注结果评价方法

汉语自动分词基本算法

句法分析

[考试要求] 句法分析这一部分的重点是CFG分析算法、PCFG算法、决策式的(确定性的)依存句法分析方法、依存句法分析器性能评价

短语结构分析

短语结构分析的基本方法可以分为以下两类：

线图分析法（Chart Parsing）

CYK分析算法

[考试要求] 不需要掌握乔姆斯基文法范式化的过程，重点掌握识别矩阵的构造方法
完整的CYK分析算法流程描述如下：1. 首先需要完成对句子的分词以及词性标注；2. 构造识别矩阵；3. 对识别矩阵完成分析过程。

结合例子说明CYK分析算法，给定一个文法G(S)，以及一个待分析的句子The boy hit the dog with a rool
G(S): S