Python和PyTorch对比实现affine/linear(仿射/线性)变换函数及全连接层的反向传播

BrightLampCsdn

于 2018-11-24 22:04:58 发布

阅读量4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：深度学习编程

本文链接：https://blog.youkuaiyun.com/oBrightLamp/article/details/84453996

本文对比使用纯Python和PyTorch来实现仿射/线性变换函数，并详细探讨了全连接层的反向传播过程。通过阅读，你可以了解到如何在两种不同的环境中进行线性运算及其梯度计算。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

摘要

本文使用纯 Python 和 PyTorch 对比实现affine/linear(仿射/线性)变换函数及其反向传播.

正文

import torch
import numpy as np


class Affine:
    def __init__(self):
        self.x = None
        self.weight = None
        self.bias = None
        self.dx = None
        self.dw = None
        self.db = None

    def __call__(self, x):
        self.x = x
        out = np.dot(self.x, self.weight.T) + self.bias
        return out

    def backward(self, d_