2、神经网络语言处理学习基础与线性模型

神经网络语言处理学习基础与线性模型

1. 递归模型的应用

递归模型在多种自然语言处理任务中取得了先进或接近先进的成果，这些任务包括成分和依存句法分析重排序、语篇分析、语义关系分类、基于句法树的政治意识形态检测、情感分类、目标依赖情感分类以及问答系统等。

2. 内容结构与组织

整个学习内容分为四个部分：
- 第一部分：监督分类与前馈神经网络基础
- 第2章：介绍监督机器学习的基本概念、参数化函数、线性和对数线性模型、正则化和损失函数、作为优化的训练过程以及基于梯度的训练方法。
- 第3章：阐述线性模型的主要局限性，说明非线性模型的必要性，为多层神经网络奠定基础。
- 第4章：引入前馈神经网络和多层感知器（MLPs），讨论多层网络的定义、理论能力以及常见子组件，如非线性函数和损失函数。
- 第5章：处理神经网络训练，介绍计算图抽象（反向传播算法），用于任意网络的自动梯度计算，并提供有效网络训练的重要技巧。
- 第二部分：引入语言数据
- 第6章：介绍常见语言处理问题的类型，并讨论使用语言数据时可用的信息来源（特征）。
- 第7章：提供具体案例研究，展示前一章描述的特征如何用于各种自然语言任务。
- 第8章：将第6章和第7章的内容与神经网络联系起来，讨论将基于语言的特征编码为神经网络输入的各种方法。
- 第9章：介绍语言建模任务和前馈神经语言模型架构，为后续章节讨论预训练词嵌入铺平道路。
- 第10章：讨论分布式和分布性的词义表示方法，介绍分布语义学的词 - 上下文矩阵方法以及受神经语言建模启发的词