Pi_Nick的博客

原创 从0开始实现一个神经网络（MLP）

这是一篇记录了作者学习Andrej Karpathy的“Neural Networks: from zero to hero”系列的笔记而写的博客。文章从构建基础的Value类开始，逐步向上搭建Neuron（神经元）、Layer（层），最终形成一个完整的多层感知机（MLP）。文中深入解析了Value类如何通过操作符重载实现前向传播，并通过_backward闭包和拓扑排序完成反向传播中的梯度计算累积。此外，还展示了如何利用Graphviz进行计算图可视化，并详细阐述了MLP训练过程，包括损失，梯度，参数更新等