sigmoid函数和tanh函数和relu函数和leaky_relu函数

最新推荐文章于 2025-07-12 12:15:41 发布

原创最新推荐文章于 2025-07-12 12:15:41 发布 · 413 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

机器学习专栏收录该内容

10 篇文章

订阅专栏

博客介绍了sigmoid、tanh、relu和leaky_relu函数的原理与实现，这些激活函数在机器学习中具有重要作用，能为模型引入非线性因素，提升模型的表达能力。

sigmoid函数，tanh函数，relu函数，leaky_relu函数原理与实现

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

def sigmoid(x):
    return np.exp(x)/sum(np.exp(x))

def tanh(x):
    return (np.exp(x) - np.exp(-x))/(np.exp(x) + np.exp(-x))

def relu(x):
    res = []
    for i in x:
        if i > 0:
            res.append(i)
        else:
            res.append(0)
    
    return res

def leaky_relu(x):
    res = []
    for i in x:
        if i > 0:
            res.append(i)
        else:
            res.append(0.01*i)
    
    return res

plt.figure(figsize= [30,30],dpi=50)

x = np.arange(-5,5,0.01)
y_sigmoid = sigmoid(x)

y_tanh = tanh(x)

y_relu = relu(x)

y_leaky_relu = leaky_relu(x)

plt.subplot(2,2,1)

plt.plot(x,y_sigmoid)
plt.title('sigmoid ficture',fontsize = 30)


plt.subplot(2,2,2)
plt.plot(x,y_tanh)
plt.title('tanh ficture',fontsize = 30)

plt.subplot(2,2,3)
plt.plot(x,y_relu)
plt.title('relu ficture',fontsize = 30)

plt.subplot(2,2,4)
plt.plot(x,y_leaky_relu)
plt.title('leaky_relu ficture',fontsize = 30)