9、深入理解深度学习：从底层实现到Keras与TensorFlow

深入理解深度学习：从底层实现到Keras与TensorFlow

1. 从头开始在TensorFlow中重新实现示例

1.1 简单的密集层类

在深度学习中，密集层（Dense layer）是一种常见的层类型，其输入转换公式为：
[ output = activation(dot(W, input) + b) ]
其中，$W$ 和 $b$ 是模型参数，$activation$ 是逐元素函数（通常为 relu ，最后一层可能为 softmax ）。

以下是一个简单的Python类 NaiveDense 的实现：

import tensorflow as tf

class NaiveDense:
    def __init__(self, input_size, output_size, activation):
        self.activation = activation
        w_shape = (input_size, output_size)
        w_initial_value = tf.random.uniform(w_shape, minval=0, maxval=1e-1)
        self.W = tf.Variable(w_initial_value)

        b_shape = (output_size,)
        b_initial_value = tf.zeros(b_shape)
        self.