梅子酒的博客

线性模型意味着任何特征的变化都会同步影响结果进行线性变化。但实际上很多事情并不是线性的，例如：收入增长和还款概率，当收入从0→5时的还款提升概率比100→105时高的多，这时可以考虑以收入的对数作为特征，再使用线性模型。但还存在一些例子不能经过简单处理就能使用线性模型的，当处理图像分类问题时，某一个像素点增强并不能同步增强对某一物体分类的概率，而是需要和周围像素点一起进行判断。

在之前NLP基础章节-语言模型中我们介绍了n元语法，其中单词xt​在时间步t的条件概率仅取决于前面n个单词，若是想要将之前单词的影响也加入那么模型参数数量会指数级增长。但是可能之前的单词存在重要的信息是无法舍弃的，于是我们可以参考NLP基础-序列模型中提到隐变量模型。ht​fx1​⋯xt−1​这样模型需要同时预测xt​和更新ht​ht​ght−1​xt−1​xt​Pxt​∣ht​。

给定文本序列x1​⋯xt​，语言模型的目标是估计联合概率Px1​⋯xt​. 这里的xt​可以认为是文本序列在时间步t处的观测或标签，而所谓联合概率指的是一个句子的整体概率，即句子中所有单词相继出现的概率。语言模型的用处：可以在语音识别上解决同音句歧义问题和断句问题。

序列模型是自然语言处理（NLP）和机器学习领域中一类重要的模型，它们特别适合处理具有时间顺序或序列结构的数据，例如文本、语音信号或时间序列数据。举个例子：一部电影的评分在不同时间段的评分可能是不一样的，锚定效应：当一部电影获得某项大奖后，该电影的评分可能会上升。季节性：新年贺岁电影和圣诞电影在相应时间会更受欢迎。电影评分不是不变的,和时间是有相关性的。处理序列数据需要统计工具和新的深度神经网络架构。我们通常使用 xtx_txt​ 表示模型在时间 ttt 的输出，ttt 代表时间步，通过以下公式进行预测：xt