- 博客(3)
- 收藏
- 关注
RSS订阅原创 交叉熵和相对熵
交叉熵通常用于衡量预测分布与真实分布之间的差异，而相对熵则衡量了从一个分布到另一个分布的信息损失。交叉熵（Cross-Entropy）和相对熵（Kullback-Leibler Divergence，也称为KL散度）是信息论和机器学习中常用的两个概念，用于衡量概率分布之间的差异。其中，p(x) 是真实分布（例如，标签的实际分布），q(x)$是预测分布（例如，模型的预测分布）。在机器学习中，交叉熵通常用于度量两个概率分布之间的差异，特别是在分类任务中衡量预测分布与真实分布之间的差异。
2023-08-16 11:48:09
742
1
原创 全连接神经网络
超平面：在n维空间中，n-1维的平面线性可分是指一个数据集可以使用一个超平面将不同类别的样本完全分开线性不可分是指在二维或者更高维空间中，不能用超平面将不同类别的样本完全分开有三种方法将线性不可分转为线性可分：（1）多项式扩展：将原始特征进行多项式扩展，使得数据更加复杂（2）核函数：核函数可以将数据映射到更高维的空间（3）引入人工特征：通过手动添加一些特征。
2023-06-08 09:55:34
1556
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人