- 博客(4)
- 收藏
- 关注
RSS订阅原创 Transformer框架
与编码器类似，但为了防止模型在训练时“偷看”未来的答案（即预测第t个词时，只能看到1到t-1的词），通过一个掩码（Mask）将未来的位置设置为负无穷，使其Softmax权重为0。通过这个过程，模型在编码“it”时，就会给“animal”分配极高的权重，从而生成一个能明确指代“animal”的“it”向量表示。今天，就让我们一同揭开Transformer的神秘面纱，看看这个没有循环、没有卷积的结构，是如何主宰NLP世界的。通过计算一个词的Query与序列中所有词的Key的点积，得到注意力分数。
2025-11-27 09:46:16
621
原创 生成式AI的统计内核与模型全景
它将数据的生成过程表述为：从一个先验分布 p(z)p(z)（如标准正态分布）中采样一个潜在变量 zz，然后通过解码器 p(x∣z)p(x∣z) 生成数据 xx。：模型学到的分布 Pmodel(x)Pmodel(x) 会尽可能地接近 Pdata(x)Pdata(x)。公式：P(A∣B)=P(B∣A)P(A)P(B)P(A∣B)=P(B)P(B∣A)P(A)。：直接使用KL散度作为损失的一部分，迫使编码器输出的潜在变量分布 q(z∣x)q(z∣x) 接近标准正态先验分布 p(z)p(z)。
2025-11-06 09:40:54
771
原创 机器学习:使用线性回归预测房价
关键点：线性回归适用于房价预测时特征与目标呈线性关系。通过可视化、预处理和训练，模型能有效学习模式。预测结果为点估计（如 320000 元），但实际应用中建议使用交叉验证提高鲁棒性。可靠性：本方法基于真实机器学习实践，但结果依赖数据质量。建议在真实数据集上测试，并比较不同模型（如决策树）。
2025-10-30 09:48:38
304
原创 人工智能发展历程与兴衰
萌芽期（1950-1974）第一次寒冬（1974-1980）复兴期（1980-1987）第二次寒冬（1987-1993）稳步发展期（1993-2011）周期性特征：历史教训：
2025-10-16 09:25:26
417
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人