CS224d Assignment1 part1（softmax）

最新推荐文章于 2024-06-15 23:17:15 发布

Xiao_yanling

最新推荐文章于 2024-06-15 23:17:15 发布

阅读量216

点赞数

CC 4.0 BY-SA版权

分类专栏： Assignment 文章标签： CS224d

本文链接：https://blog.youkuaiyun.com/Xiao_yanling/article/details/89293156

Assignment 专栏收录该内容

8 篇文章

订阅专栏

本文深入解析Softmax函数，一种常用于多分类问题的概率分布函数。文章详细解释了Softmax函数的数学表达式及其在梯度对数归一化中的应用，并通过证明展示了向量偏移对Softmax输出无影响的特性。同时，提供了Python实现代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Softmax

题目：

softmax：
实际上是有限项离散概率分布的梯度对数归一化，是LR在多分类上的推广：
$P(y=i∣x;θ)=eθiTx∑j=1KeθjTxP(y=i|x;\theta)=\frac{e^{{\theta}^T_ix}}{\sum^K_{j=1}e^{{\theta}^T_jx}}$
损失函数：
$l(θ)=−1m[∑i=1m∑j=1K1{y(i)=j}logeθiTx∑j=1KeθjTx]l(\theta)=-\frac{1}{m}[\sum^m_{i=1}\sum^{K}_{j=1}1\{{y^{(i)}=j}\}log\frac{e^{{\theta}^T_ix}}{\sum^K_{j=1}e^{{\theta}^T_jx}}]$
m个样本，K个类别。
$1\{{y^{(i)}=j}\}$ 表示当 $y^{(i)}$ 样本类别等于j时，取1.

证明：

$softmax(x+c)i=exp(xi+c)∑j=1dimension(x)exp(xj+c)softmax(x+c)_i=\frac{exp(x_i+c)}{\sum^{dimension(x)}_{j=1}exp(x_j+c)}$
$=exp(xi)exp(c)exp(c)∑j=1dimension(x)exp(xj)=\frac{exp(x_i)exp(c)}{exp(c)\sum^{dimension(x)}_{j=1}exp(x_j)}$
$=exp(xi)∑j=1dimension(x)exp(xj)=\frac{exp(x_i)}{\sum^{dimension(x)}_{j=1}exp(x_j)}$
$= s o f t m a x (x)$

这个等式说明了，向量的偏移（即 $+ c$ ）不影响softmax的输出。

code：

import numpy as np

def softmax(x):
    assert len(x.shape)>1 #x的维度一定要大于1
    x=x-np.max(x,axis=1,keepdims=True)
    x=np.exp(x)/np.sum(np.exp(x),axis=1,keepdims=True)
    return x

if __name__=='__main__':
    matrix=np.arange(0,30,2)
    matrix=matrix.reshape(3,5)
    #for i in range(len(matrix)):
    print(softmax(matrix))