SiLu激活函数

SiLU 导数的图像

以下是 SiLU 函数及其导数的图像绘制代码（使用 PyTorch 和 Matplotlib）：

import torch
import torch.nn as nn
import matplotlib.pyplot as plt
import numpy as np

# 定义 SiLU 激活函数
class SiLU(nn.Module):
    def forward(self, x):
        return x * torch.sigmoid(x)

# 定义 SiLU 的导数
def silu_derivative(x)