Cycnbzzz7的博客

原创 自注意力机制与NLP的关系

在处理一段文本时，每个词语都会 “回头看” 文本中的其他所有词语，计算彼此的 “关联程度”（注意力权重），再结合这些关联信息更新自身的语义表示。打个比方：我们读句子 “小明喜欢小狗，他每天都陪它散步” 时，会自然知道 “他” 指代 “小明”，“它” 指代 “小狗”—— 这是人类大脑自动建立的词语关联。自注意力机制就是让计算机模拟这个过程：处理 “他” 时，模型会计算 “他” 与 “小明”“小狗”“散步” 等所有词的关联权重（“小明” 的权重最高），然后用 “小明” 的语义信息增强 “他” 的表示；

原创 生成模型概念

比如 GAN 建模真实图像的像素分布、VAE 建模文本的词序列联合分布。条件概率分布：支撑。

原创 使用线性回归算法预测房价

原创 人工智能发展