Python和PyTorch对比实现affine/linear(仿射/线性)变换函数及全连接层的反向传播

最新推荐文章于 2024-09-20 14:44:11 发布

原创

最新推荐文章于 2024-09-20 14:44:11 发布 · 4k 阅读

5 ·

CC 4.0 BY-SA版权

本文对比使用纯Python和PyTorch来实现仿射/线性变换函数，并详细探讨了全连接层的反向传播过程。通过阅读，你可以了解到如何在两种不同的环境中进行线性运算及其梯度计算。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要

本文使用纯 Python 和 PyTorch 对比实现affine/linear(仿射/线性)变换函数及其反向传播.

正文

import torch
import numpy as np


class Affine:
    def __init__(self):
        self.x = None
        self.weight = None
        self.bias = None
        self.dx = None
        self.dw = None
        self.db = None

    def __call__(self, x):
        self.x = x
        out = np.dot(self.x, self.weight.T) + self.bias
        return out

    def backward(self, d_