TGYAO的博客

神经网络是手写数字识别中常用的机器学习模型。它由许多神经元组成，每个神经元接收输入并生成输出。在前向传递过程中，神经元计算一些权重和偏移量的线性组合，并将其输入到一个非线性的激活函数中，从而生成神经元的输出。输出层通常使用softmax函数，将神经网络的输出映射到每个数字类别的概率。训练神经网络通常使用反向传播算法，该算法用于计算网络中每个权重和偏移量的梯度，并用梯度下降算法调整这些参数以最小化损失函数。在训练完成后，手写数字图像可以通过前向传递神经网络来进行分类。

机器学习是一种人工智能的分支，它利用算法和统计模型来使计算机系统自动地从数据中学习和改进。机器学习的目标是让计算机系统能够自动地识别模式和规律，并根据这些规律来做出预测和决策。机器学习的应用非常广泛，包括图像识别、语音识别、自然语言处理、推荐系统、金融风险评估等领域。线性回归是一种常见的机器学习算法，用于建立输入变量和输出变量之间的线性关系模型。它的背景可以追溯到19世纪初，由法国数学家Adrien-Marie Legendre提出。

而对于SGD，每次更新参数只需要一个样本，因此若使用这30W个样本进行参数更新，则参数会 被更新（迭代）30W次，而这期间，SGD就能保证能够收敛到一个合适的最小值上了。每个神经元伸出的突起分 2 种，树突和轴突。b. 跑完一次 epoch（全数据集）所需的迭代次数减少，要想达到相同的精度，其所花费的时间大大增加了，从而对参数的修正也 就显得更加缓慢。（1）由于不是在全部训练数据上的损失函数，而是在每轮迭代中，随机优化某一条训练数据上的损失函数，这样每一轮参数的更新速度大大加快。