m0_74574927的博客

对比项SVM深度学习（LLM/CNN等）训练数据量小数据优势大数据优势特征获取需手工设计自动学习可解释性高低计算复杂度高（慢）低（GPU并行）非线性能力依赖核函数自动从层中学习扩展性差（样本多时很慢）强（大模型）应用场景小样本分类图像、语音、NLP等复杂任务🔹 SVM 是一个优雅、理论完备、在小数据集上表现出色的传统机器学习算法。🔹 但随着大数据 + GPU + 深度学习的兴起，SVM 在性能与可扩展性上已被深度模型取代。

设真实标签的 one-hot 向量为预测概率为则交叉熵损失定义为：因为只有真实类别的 y=1，其余为 0，所以公式简化为：🔹交叉熵损失用于分类任务，衡量模型输出的概率分布与真实标签分布的接近程度。🔹 数值上，就是取真实类别的预测概率的负对数。🔹 在 PyTorch 中，结合了。

)样本编号模型预测概率（3类）正确类别第 0 个样本0第 1 个样本2代码含义按行索引[0, 1]和对应列索引y同时取元素等价的展开写法结果取出每个样本的正确类别预测值（常用于分类任务）💡y_hat[行索引, 列索引]会“对齐”地从每一行中取出对应列的元素。常用来拿到“每个样本在真实类别上的预测概率”。