weixin_43522964的博客

GPT发展史

1. HMM-隐马尔科夫模型 具有马尔科夫属性的概率有向图 1.1 两个空间三组参数 状态空间：隐状态S的取值范围 观测空间：观测状态O的取值范围 发射概率：初始状态的概率分布，记做π 转移概率：不同状态之间的转移概率，可以用转移矩阵表示，记做a 输出概率：基于当前状态，不同输出的概率分布，记做b 模型参数λ = (a, b, π) 1.2 两个假设 1、 齐次假设：即马尔科夫假设 2、 观测独...

一、词袋 二、Word_embedding 三、预训练模型 3.1：ELMO 解RNN的语言模型 就是预测下一个token，训练好了之后，推知上下文不同，那么同一个token的表示也不同。 也可以双向： 不同隐层的weight sum 3.2 Bert BERT-任务1 语义相近词语的理解： 1、由于语义相近的词语语境类似，而其embedding语境的综合结果，故相似。 2、就算相似也...