Activation_function

最新推荐文章于 2025-01-14 09:57:56 发布

zh_JNU

最新推荐文章于 2025-01-14 09:57:56 发布

阅读量491

点赞数

CC 4.0 BY-SA版权

分类专栏： numpy

本文链接：https://blog.youkuaiyun.com/zh_JNU/article/details/80884175

numpy 专栏收录该内容

8 篇文章

订阅专栏

本文详细介绍了多种常见的激活函数，包括Sigmoid、Tanh、ReLU及其变种等，并提供了Python实现代码。通过本文，读者可以了解每种激活函数的特点及适用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import numpy as np
def Hard_sigmoid(input):
    return np.maximum(np.minimum(1,(input+1)/2),0)
def Sigmoid(input):
    return 1.0/(1.0+np.exp(-input))
def Tanh(input):
    return np.tanh(input)
def Relu(input):
    return np.maximum(0.0,input)
def Liner(input):
    return input
def Softmax(input):
    assert np.ndim(input) == 2
    x = input - np.max(input,axis=1,keepdims=True)
    exp_x = np.exp(x)
    return exp_x/np.sum(exp_x,axis=1,keepdims=True)
def Leak_relu(input,alpha = 0.3):
    return np.maximum(alpha*input,input)
def Softplus(input):
    return np.log(1+np.exp(input))
def Dense(input_array,w,b):
    return np.dot(input_array,w)+b  ###input_array.shape=(num,) w.shape = (num,outnode_num) b.shape=(outnode_num,)