JasonQiuStar-优快云博客

原创【AI学习笔记10】卷积神经网络CNN反向传播原理 The principle of CNN backpropagation

max pooling在前向传播中，把一个patch中最大的值传递给下一层，其他值会被舍弃掉。因此，在反向传播中，就是将当前梯度直接传递给前一层的某个像素，而让同一个patch中的其他像素值为0。《【CNN基础知识】一文详解反向传播（Backpropagation）在CNN中如何具体实现——卷积、池化(上)》开始推导反向传播原理之前，先回顾一下偏导数（Partial Derivatives）的链式法则：【1】【2】【3】在反向传播中，就是把某个像素的值平均分成 n 份分配给上一层。

2025-03-02 23:59:46 734

原创【AI学习笔记9】基于pytorch实现CNN或MLP识别mnist, Mnist recognition using CNN & MLP based on pytorch

test_loader = DataLoader(test_dataset, shuffle=False, batch_size=Batch_Size) #下载测试集 MNIST 手写数字测试集。self.fc = torch.nn.Linear(20*4*4, 10) # 全连接层将它展平flatten, 分成10类(0-9) classification。torch.nn.MaxPool2d(2), # 最大池化，池化核2×2，步长2， (10,12,12)

2025-02-23 18:51:42 724

原创【AI学习笔记8】卷积神经网络CNN原理 The Principle of Convolutional Neural Network

如果一个图像的尺寸是（28，28，1），即代表这个图像的是一个长宽均为28，channel为1的图像（channel也叫depth,此处1代表灰度图像）。如果使用全连接的网络结构，即，网络中的神经与与相邻层上的每个神经元均连接，那就意味着网络有28 * 28 =784个神经元，hidden层采用了15个神经元，那么需要的参数个数(w和b)就有：784*15*10+15+10=117625个，这个参数太多了，随便进行一次反向传播计算量都是巨大的，从计算资源和调参的角度都不建议用MLP神经网络。

2025-02-23 13:17:38 1031

原创【AI学习笔记7】用C语言实现MNIST识别的FCNN网络 A MNIST recognition FCNN in C language

【1】从 https://www.kaggle.com/datasets 下载mnist手写数字数据集。【2】//对应int32大小的成员的转换范例// sigmoid激活函数// softmax分类函数i < n;i++) {// probnorm概率归一化函数i < n;i < n;i++) {// 前向传播函数。

2025-02-09 18:35:00 988

转载【AI学习笔记6】链式求导法则与反向传播原理 Chain rule and BackPropagation principle

这样误差反向传播法就完成了，最后再把更新的权值重新计算，不停地迭代，在这个例子中第一次迭代之后，总误差E(total)由0.298371109下降至0.291027924。这样前向传播的过程就结束了，得到输出值为[0.75136507 , 0.772928465]（原文此处有误），与实际值[0.01, 0.99]相差还很远，现在对误差进行反向传播，更新权值，重新计算输出。方法与上面说的差不多，但是out(h1)会接受E(o1)和E(o2)两个地方传来的误差，所以这个地方两个都要计算。

2025-02-04 23:27:01 367

原创【AI学习笔记5】用C语言实现一个最简单的全连接神经网络FCNN(MLP), A simple FCNN(MLP) in C language

Accuracy为100%，是因为使用的test_inputs和train_inputs完全相同，如果test_inputs改为不同的5x5像素矩阵，则Accuracy会降低。要想提高准确率，则需要更多的训练数据(train_inputs)。每个图像是5x5个像素，因此网络输入是25个节点；隐藏层可以取20个节点，激活函数用sigmoid。输出是五分类，因此是5个节点；《使用C语言实现神经网络进行数字识别》// probnorm概率归一化函数。// sigmoid激活函数。

2025-01-07 02:22:06 1012

原创【AI学习笔记4】四种主流的神经网络 FNN、CNN、RNN、Transformer

最常用的人工神经网络（Artificial Neural Network，ANN）主要包括以下四种：前馈神经网络（Feedforward Neural Network，FNN）、循环神经网络（Recurrent Neural Network，RNN）和卷积神经网络（Convolutional Neural Network，CNN），还有当前最流行的大模型常用的Transformer神经网络。前馈神经网络FNN是一种最基础的神经网络模型，其特点是每个神经元的输出只传给下一层的神经元。

2025-01-07 02:13:23 1505

原创【AI学习笔记3】神经元、神经网络与感知机 Neuron、Neural Network and Perceptron

或门在(x1, x2) = (0, 0) 时输出0，在(x1, x2) 为(0, 1)、(1, 0)、(1, 1) 时输出1。上图中，○表示0，△表示1。或门的情况下，当权重参数为(b,w_1,w_2)=(-0.5,1.0,1.0)时，可满足真值表条件。如果用感知机来表示与门，可以把（w1,w2,θ）分别设置为（1, 1, 1），或者设置为(0.5, 0.5, 0.8)，实际上有无穷多种取值都可以达成预期。这里，将最左边的一列称为第 0 层，中间的一列称为第 1 层，最右边的一列称为第 2 层。

2025-01-07 02:11:27 1172

原创【AI学习笔记2】人类视觉、听觉与嗅觉神经系统 The nervous system in vision, hearing, and smell

层（Rods and cones layer）、外界膜（Outer limiting membrane）、外颗粒层（Outer nuclear layer）、外丛状层（Outer plexiform layer）、内颗粒层（inner nuclear layer）、内丛状层（Inner plexiform layer）、神经节细胞层（Ganglion cell）、神经纤维层（Nerve fibre layer）、内界膜（Inner limiting membrane）。声音通过鼓膜（Eardrum）【3】

2025-01-07 02:08:27 738

原创【AI学习笔记1】人类的神经系统 The nervous system of human

章鱼有九个脑，总共包含了约5.5亿个神经元，其中3.5亿个在八条触手中，1.6亿个位于巨大的视皮质内，0.42亿个位于头部。人类的思考发生在头部，人类独有的理性思考能力来源与大脑的前额叶，一般被称为理智脑，如图【6】（Logically divided）非洲象大脑重量是人类的两倍，但是却不如人类聪明，原因是人脑神经元是非洲象的3倍。《蓝鲸大脑9公斤，大象大脑4公斤，为何不如人类1.2公斤的大脑》【6】《你需要知道三重大脑：爬行动物脑、情感脑、理智脑》【1】《人体有机体：分解您的身体结构》

2025-01-07 02:05:57 952 1

2301_76992325的博客