PyTorch自定义梯度

最新推荐文章于 2024-11-21 16:11:21 发布

原创最新推荐文章于 2024-11-21 16:11:21 发布 · 2.2k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #梯度 #Htanh #autograd

机器学习专栏收录该内容

121 篇文章

订阅专栏

本文介绍了如何在PyTorch中定义一个自定义的激活函数——Htanh，该函数结合了sign函数的正向特性与tanh的平滑导数。Htanh在x接近0时导数为1，其他情况下导数为0，适用于某些特定的神经网络结构。代码示例展示了Htanh函数的前向传播和反向传播实现，并给出了使用示例。此外，还提到了Binarized Neural Networks的相关内容。

部署运行你感兴趣的模型镜像

[3] 的一个简例。正向 sign： $y=\text{sign}(x)=\begin{cases} & -1 & x < 0 \\ & 0 & x = 0 \\ & 1 & x > 0 \end{cases}$ 反向 Htanh： $\frac{\partial y}{\partial x}=\begin{cases} & 1 & -\epsilon\le x\le \epsilon \\ & 0 & else \end{cases}$

Code

import torch

class Htanh(torch.autograd.Function):
    @staticmethod
    def forward(ctx, x, epsilon=1):
        ctx.save_for_backward(x.data, torch.tensor(epsilon))
        return x.sign()

    @staticmethod
    def backward(ctx, dy):
        x, epsilon = ctx.saved_tensors
        dx = torch.where((x < - epsilon) | (x > epsilon), torch.zeros_like(dy), dy)
        return dx, None

用例

htanh = Htanh()
x = torch.tensor([-2.5, -1.6, 0, 3.6, 4.7])
y = htanh.apply(x)

References

您可能感兴趣的与本文相关的镜像

PyTorch 2.6

PyTorch

Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理