激活函数的复现and深度学习的认识_and 激活函数-优快云博客

本文深入探讨了深度学习中常见的激活函数，包括Sigmoid、Softmax、Tanh、ReLU及Leaky ReLU，并通过Matplotlib可视化了这些函数的特性。同时，文章概述了深度学习的基本概念，如超参数调整、框架选择及层级网络结构。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import numpy as np
import matplotlib.pyplot as plt
def sigmoid(x):
    return 1.0/(1+np.exp(-x))
x= np.arange(-10,10)
y=sigmoid(x)
plt.plot(x,y)
plt.axvline(0.0, color='k')   #坐标轴上加一条竖直的线（0位置）
plt.yticks([0.0, 0.5, 1.0])#y轴标度
plt.xticks([-10,0,10])  #x轴标度
plt.xlabel("x")
plt.ylabel("y")
plt.show()

在这里插入图片描述

import numpy as np
import matplotlib.pyplot as plt
def softmax(x):
    return np.exp(x)/np.sum(np.exp(x))
x=np.arange(-10,10)
y=softmax(x)
plt.plot(x,y)
plt.yticks([0.00, 0.02, 0.04,0.06,0.08,0.1])#y轴标度
plt.xticks([-10,-7.5,-5,-2.5,0,2.5,5,7.5,10])  #x轴标度
plt.xlabel("x")
plt.ylabel("y")
plt.show()

在这里插入图片描述

import numpy as np
import matplotlib.pyplot as plt
def Tanh(x):
    return (np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))
x=np.arange(-10,10)
y=Tanh(x)
plt.plot(x,y)
plt.yticks([-1,1])
plt.xticks([-10,10])
plt.xlabel("x")
plt.ylabel("y")
plt.show()

在这里插入图片描述

import numpy as np
import matplotlib.pyplot as plt
def Relu(x):
    if x<=0:
        return 0
    else:
        return 
x=np.arange(-10,10)
y= np.where(x<0,0,x)
plt.plot(x,y)
plt.yticks([0,10])
plt.xticks([-10,10])
plt.xlabel("x")
plt.ylabel("y")
plt.show()

在这里插入图片描述

import numpy as np
import matplotlib.pyplot as plt
def LeakyRelu(x):
    if x<0:
        return a*x
    else:
        return 0
x=np.arange(-10,10)
y= np.where(x<0,a*x,x)
plt.plot(x,y)
plt.yticks([-1,10])
plt.xticks([-10,10])
plt.xlabel("x")
plt.ylabel("y")
plt.show()

在这里插入图片描述

对深度学习的初步认识
1.深度学习是机器学习得一种技术
2.用于深度学习的学习算法通常包含许多超参数，一些常用的超参数，尤其适用于基于反向传播的学习算法和基于梯度的优化算法。
3.深度学习的框架有许多种，比如深度神经网络，卷积神经网络。深度学习的思想是堆叠多个层，这一层的输出作为下一层的输入，通过这种方式来实现对输入信息的分级表达。
4.感知机and卷积神经网络，感知机是最简单的单层前向人工神经网络，卷积神经网络是由多个单层卷积神经网络组成的可训练的多层网络结构