李沐动手学习深度学习——4.1练习

1. 计算pReLU激活函数的导数。

pReLU激活函数公式根据课本有如下：
$$\mathrm{pReLU}(x)=\max (0,x)+\alpha \min (0,x)$$
对应的函数图像为:

对应的导数计算为：
d p R e L U d x = { 1 ,