识别数字123的简单网络

最新推荐文章于 2025-11-30 09:25:59 发布
原创 最新推荐文章于 2025-11-30 09:25:59 发布 · 572 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #卷积 #网络 #python #深度学习

《深度学习的数学》给予了我极大的启发，作者阐述的神经网络的思想和数学基础令我受益颇多，但是由于书中使用Excel作为示例向读者展示神经网络，这对我这样一个不精通Excel的人来说很头疼，因此我打算使用Python来实现书中的一个简单的卷积神经网络模型，即识别数字123的模型。
这个网络模型极其简单，比号称机器学习中的“Hello World”的手写数字识别模型更简单，它基本没有实用价值，但是我之所以推崇它，只因为它褪去了神经网络的复杂性，展示了神经网络中最基本、最根本的东西。
模型总共分为四层，第一层为输入层，第二层为卷积层，第三层为最大池化层，第四层为输出层。输入图像为96张66的单值二色图像。
卷积层的过滤器共包含39+3=30个参数，输出层包括12*3+3=39个参数，所以网络模型中总共69个参数。
原理和上篇文章一样，所涉及的数学知识有点改变。具体如下：
首先是卷积层神经单元的加权输入和神经单元的输出
zijFk=w11Fkxij+w12Fkxij+1+w13Fkxij+2+w21Fkxi+1j+w22Fkxi+1j+1+w23Fkxi+1j+2+w31Fkxi+2j+w32Fkxi+2j+1+w33Fkxi+2j+2+bFkz_{ij}^{Fk}=w_{11}^{Fk}x_{ij}+w_{12}^{Fk}x_{ij+1}+w_{13}^{Fk}x_{ij+2}+w_{21}^{Fk}x_{i+1j}+w_{22}^{Fk}x_{i+1j+1}+w_{23}^{Fk}x_{i+1j+2}+w_{31}^{Fk}x_{i+2j}+w_{32}^{Fk}x_{i+2j+1}+w_{33}^{Fk}x_{i+2j+2}+b^{Fk}zijFk​=w11Fk​xij​+w12Fk​xij+1​+w13Fk​xij+2​+w21Fk​xi+1j​+w22Fk​xi+1j+1​+w23Fk​xi+1j+2​+w31Fk​xi+2j​+w32Fk​xi+2j+1​+w33Fk​xi+2j+2​+bFk
aijFk=a(zijFk),其中k为卷积层的子层编号,i、j(i,j=1,2,3,4)为扫描的起始行列编号，a(z)表示激活函数a_{ij}^{Fk}=a(z_{ij}^{Fk}),其中k为卷积层的子层编号,i、j(i,j=1,2,3,4)为扫描的起始行列编号，a(z)表示激活函数aijFk​=a(zijFk​),其中k为卷积层的子层编号,i、j(i,j=1,2,3,4)为扫描的起始行列编号，a(z)表示激活函数
然后是池化层的加权输入和神经单元的输出:
zijPk=Max(a2i−12j−1Fk,a2i−12jFk,a2i2j−1Fk,a2i2jFk)z_{ij}^{Pk}=Max(a_{2i-12j-1}^{Fk},a_{2i-12j}^{Fk},a_{2i2j-1}^{Fk},a_{2i2j}^{Fk})zijPk​=Max(a2i−12j−1Fk​,a2i−12jFk​,a2i2j−1Fk​,a2i2jFk​)
aijPk=zijPka_{ij}^{Pk}=z_{ij}^{Pk}aijPk​=zijPk​
然后是输出层的加权输入和神经单元的输出:
znO=w1−11Ona11P1+w1−12Ona12P1+w1−21Ona21P1+w1−22Ona22P1+w2−11Ona11P2+w2−12Ona12P2+w2−21Ona21P2+w2−22Ona22P2+w3−11Ona11P3+w3−12Ona12P3+w3−21Ona21P3+w3−22Ona22P3+bnOz_n^O=w_{1-11}^{On}a_{11}^{P1}+w_{1-12}^{On}a_{12}^{P1}+w_{1-21}^{On}a_{21}^{P1}+w_{1-22}^{On}a_{22}^{P1}+w_{2-11}^{On}a_{11}^{P2}+w_{2-12}^{On}a_{12}^{P2}+w_{2-21}^{On}a_{21}^{P2}+w_{2-22}^{On}a_{22}^{P2}+w_{3-11}^{On}a_{11}^{P3}+w_{3-12}^{On}a_{12}^{P3}+w_{3-21}^{On}a_{21}^{P3}+w_{3-22}^{On}a_{22}^{P3}+b_n^OznO​=w1−11On​a11P1​+w1−12On​a12P1​+w1−21On​a21P1​+w1−22On​a22P1​+w2−11On​a11P2​+w2−12On​a12P2​+w2−21On​a21P2​+w2−22On​a22P2​+w3−11On​a11P3​+w3−12On​a12P3​+w3−21On​a21P3​+w3−22On​a22P3​+bnO​
anO=a(znO),n为输出层神经单元的编号(n=1,2,3)a_n^O=a(z_n^O),n为输出层神经单元的编号(n=1,2,3)anO​=a(znO​),n为输出层神经单元的编号(n=1,2,3)
平方误差C=1/2∗((t1−a1O)2+t2−a2O)2+t3−a3O)2)平方误差C=1/2*((t_1-a_1^O)^2+t_2-a_2^O)^2+t_3-a_3^O)^2)平方误差C=1/2∗((t1​−a1O​)2+t2​−a2O​)2+t3​−a3O​)2)

含义图像为1图像为2图像为3
t1t_1t1​1的正解变量100
t2t_2t2​2的正解变量010
t3t_3t3​3的正解变量001
图像为1图像为2图像为3
a1Oa_1^Oa1O​接近1的值接近0的值接近0的值
a2Oa_2^Oa2O​接近0的值接近1的值接近0的值
a3Oa_3^Oa3O​接近0的值接近0的值接近1的值

然后是误差反向传播法中的各层的神经单元误差δ:
输出层的神经单元误差计算:
δnO=(anO−tn)a′(znO)δ_n^O=(a_n^O-t_n)a'(z_n^O)δnO​=(anO​−tn​)a′(znO​)
卷积层神经单元误差的反向递推关系式:
δijFk=(δ1Owk−i′j′O1+δ2Owk−i′j′O2+δ3Owk−i′j′O3)∗(当aijFk在区块中最大时为1，否则为0)∗a′(zijFk),i′j′表示卷积层i行j列的神经单元连接的池化层神经单元的位置δ_{ij}^{Fk}=(δ_1^Ow_{k-i'j'}^{O1}+δ_2^Ow_{k-i'j'}^{O2}+δ_3^Ow_{k-i'j'}^{O3})*(当a_{ij}^{Fk}在区块中最大时为1，否则为0)*a'(z_{ij}^{Fk}),i'j'表示卷积层i行j列的神经单元连接的池化层神经单元的位置δijFk​=(δ1O​wk−i′j′O1​+δ2O​wk−i′j′O2​+δ3O​wk−i′j′O3​)∗(当aijFk​在区块中最大时为1，否则为0)∗a′(zijFk​),i′j′表示卷积层i行j列的神经单元连接的池化层神经单元的位置
下面是平方误差关于过滤器的偏导数:(下面是像素为66、过滤器大小为33时的关系式)
卷积层:
关于权重：
∂C∂wijFk=δ11Fkxij+δ12Fkxij+1+...+δ44Fkxi+3j+3\frac{\partial C}{\partial w_{ij}^{Fk}}=δ_{11}^{Fk}x_{ij}+δ_{12}^{Fk}x_{ij+1}+...+δ_{44}^{Fk}x_{i+3j+3}∂wijFk​∂C​=δ11Fk​xij​+δ12Fk​xij+1​+...+δ44Fk​xi+3j+3​
关于偏置:
∂C∂bFk=δ11Fk+δ12Fk+...+δ33Fk+δ44Fk\frac{\partial C}{\partial b^{Fk}}=δ_{11}^{Fk}+δ_{12}^{Fk}+...+δ_{33}^{Fk}+δ_{44}^{Fk}∂bFk∂C​=δ11Fk​+δ12Fk​+...+δ33Fk​+δ44Fk​
输出层:
∂C∂wk−ijOn=δnO，∂C∂bnO=δnO\frac{\partial C}{\partial w_{k-ij}^{On}}=δ_n^O，\frac{\partial C}{\partial b_n^O}=δ_n^O∂wk−ijOn​∂C​=δnO​，∂bnO​∂C​=δnO​

代价函数(损失函数)CT=∑k=1mCk,m在这里指的是全部学习数据的数量C_T=\sum_{k=1}^{m}C_k,m在这里指的是全部学习数据的数量CT​=∑k=1m​Ck​,m在这里指的是全部学习数据的数量
梯度下降法基本式:
(Δw11F1,...,Δw1−11O1,...,Δb12,...,Δb1O,...)=−η(∂CT∂w11F1,...,∂CT∂w1−11O1,...,∂CT∂bF1,...,∂CT∂b1O),正的常数η称为学习率(Δ w_{11}^{F1},...,Δ w_{1-11}^{O1},...,Δ b_1^2,...,Δ b_1^O,...)=-η(\frac{\partial C_T}{\partial w_{11}^{F1}},...,\frac{\partial C_T}{\partial w_{1-11}^{O1}},...,\frac{\partial C_T}{\partial b^{F1}},...,\frac{\partial C_T}{\partial b_1^O}),正的常数η称为学习率(Δw11F1​,...,Δw1−11O1​,...,Δb12​,...,Δb1O​,...)=−η(∂w11F1​∂CT​​,...,∂w1−11O1​∂CT​​,...,∂bF1∂CT​​,...,∂b1O​∂CT​​),正的常数η称为学习率

新的位置：
(w11F1+Δw11F1,...,w1−11O1+Δw1−11O1,...,bF1+Δb12,...,b1O+Δb1O,...)(w_{11}^{F1}+Δ w_{11}^{F1},...,w_{1-11}^{O1}+Δ w_{1-11}^{O1},...,b^{F1}+Δ b_1^2,...,b_1^O+Δ b_1^O,...)(w11F1​+Δw11F1​,...,w1−11O1​+Δw1−11O1​,...,bF1+Δb12​,...,b1O​+Δb1O​,...)
基于上述的数学基础，编写了以下的Python程序。
注意：初始值和学习率对最终结果影响很大，随机的初始值并不一定合适，如果出现这种情况需要初始化。


import numpy as np
import math
#_inputs的形状为(96,6,6)
_inputs = np.array([[[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0]],
    [[0,0,0,1,0,0],[0,0,1,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0]],
    [[0,0,1,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0]],
    [[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,1,1,0,0]],
    [[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,1,1,1,0]],
    [[0,0,1,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,1,1,1,0]],
    [[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0]],
    [[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,1,1,1,0,0]],
    [[0,1,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0]],
    [[0,0,1,1,0,0],[0,1,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0]],
    #10
    [[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,1,1,1,0,0]],
    [[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,1,0]],
    [[0,0,0,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,0,1,0,0]],
    [[0,0,1,1,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,1,1,0,0]],
    [[0,0,0,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0]],
    [[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,0,0,0,0]],
    [[0,0,1,0,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,0,1,0,0]],
    [[0,0,0,0,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0]],
    [[0,0,0,0,0,0],[0,0,1,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0]],
    [[0,0,0,0,0,0],[0,0,1,1,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,1,1,0,0]],
    #20
    [[0,0,0,0,0,0],[0,0,1,1,0,0],[0,0,1,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0]],
    [[0,0,1,0,0,0],[0,1,1,0,0,0],[0,1,1,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0]],
    [[0,0,0,0,1,0],[0,0,0,1,1,0],[0,0,0,1,1,0],[0,0,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,1,0]],
    [[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0]],
    [[0,0,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0]],
    [[0,1,0,0,0,0],[0,1,0,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0]],
    [[0,1,0,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,0,1,0,0],[0,0,0,0,0,0]],
    [[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,1,0,0,0,0],[0,0,0,0,0,0]],
    [[0,0,0,0,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0],[0,0,1,0,0,0]],
    [[0,0,0,0,0,0],[0,0,0,0,1,0],[0,0,0,0,1,0],[0,0,0,0,1,0],[0,0,0,0,1,0],[0,0,0,0,0,0]],
    #30
    [[0,0,0,0,0,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,0,0,0,0],[0,1,0,0,0,0],[0,0,0,0,0,0]],
    [[0,0,0,0,0,0],[0,0,1,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,1,0,0],[0,0,0,0,0,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,1,1,1,0]],
    [[0,1,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,1,1,1,0]],
    [[0,0,1,1,1,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,1,1,1,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,1,0,0],[0,1,1,1,1,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,1,0],[0,0,1,0,0,0],[0,1,1,1,1,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,1,1,0,0,0],[0,1,1,1,1,0]],
    [[0,1,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,1,1,0,0,0],[0,1,1,1,1,0]],
    [[0,1,1,1,1,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,1,1,1,0]],
    #40
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,1,1,1,0]],
    [[0,1,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,1,0],[0,1,1,0,0,0],[0,1,1,1,1,0]],
    [[0,0,1,1,1,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,1,0],[0,0,1,0,0,0],[0,1,1,1,1,0]],
    [[0,1,1,1,1,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,1,1,0,0],[0,1,1,0,0,0],[0,1,1,1,1,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[1,1,1,1,1,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,1,1,1,1]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,1,1,1,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[1,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,1,1,1,0]],
    [[0,1,1,1,0,0],[0,1,0,0,1,0],[1,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,1,1,1,0]],
    [[0,1,1,1,0,0],[0,1,0,0,1,0],[1,0,0,0,1,0],[0,0,0,1,0,0],[0,1,1,0,0,0],[0,1,1,1,1,0]],
    #50
    [[0,1,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,1,0,0],[1,1,1,1,1,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,1,1,1,1]],
    [[0,1,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,1,1,1,1]],
    [[0,0,1,1,0,0],[0,1,0,0,1,1],[0,0,0,0,1,1],[0,0,0,1,1,0],[0,0,1,0,0,0],[0,1,1,1,1,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,1,1,1,0]],
    [[0,0,1,1,0,0],[0,1,1,1,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,1,1,1,0]],
    [[0,0,1,1,0,0],[0,1,1,0,1,0],[0,0,0,0,1,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,1,1,1,0]],
    [[0,0,1,1,0,0],[0,1,1,0,1,0],[0,1,0,0,1,0],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,1,1,1,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,1,1,0,0],[0,1,1,0,0,0],[1,1,1,1,1,0]],
    [[0,0,1,1,1,0],[0,1,0,0,1,1],[0,0,0,0,1,1],[0,0,0,1,0,0],[0,0,1,0,0,0],[0,1,1,1,1,1]],
    #60
    [[0,1,1,1,0,0],[0,1,0,0,1,0],[0,0,0,1,1,0],[0,0,0,1,0,0],[0,0,1,1,0,0],[0,1,1,1,1,0]],
    [[0,1,1,1,1,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,1,0],[0,0,1,1,0,0],[1,1,1,1,1,0]],
    [[0,1,1,1,0,0],[0,1,0,1,0,0],[0,0,0,1,0,0],[0,0,1,1,0,0],[0,1,1,0,0,0],[0,1,1,1,1,0]],
    [[0,0,1,1,0,0],[0,1,0,1,1,0],[0,0,0,1,1,0],[0,0,0,1,0,0],[0,0,1,1,0,0],[0,1,1,1,1,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,1,0],[0,1,0,0,1,0],[0,0,1,1,0,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,1,1,0],[0,0,0,1,1,0],[0,1,0,0,1,0],[0,0,1,1,0,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,1,1,1],[0,0,0,0,1,1],[0,1,0,0,1,0],[0,0,1,1,0,0]],
    [[0,1,1,1,0,0],[0,1,0,0,1,0],[0,0,0,1,1,1],[0,0,0,1,1,0],[0,1,0,0,1,0],[0,0,1,1,0,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,1,1,1],[0,0,0,1,1,0],[0,1,0,0,1,0],[0,1,1,1,0,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,1,1,1],[0,0,0,1,1,0],[0,1,0,0,1,0],[0,0,1,1,1,0]],
    #70
    [[0,0,1,1,1,0],[0,1,0,0,1,0],[0,0,0,1,1,1],[0,0,0,1,1,0],[0,1,0,0,1,0],[0,0,1,1,0,0]],
    [[0,1,1,1,0,0],[0,1,0,0,1,0],[0,0,0,1,1,1],[0,0,0,1,1,0],[0,1,0,0,1,0],[0,0,1,1,0,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,1,1,1],[0,0,0,1,1,0],[0,1,0,0,1,0],[0,1,1,1,0,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,0,1],[0,0,0,1,1,1],[0,1,0,0,1,0],[0,0,1,1,0,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,1,1,1],[0,0,0,0,1,1],[0,1,0,0,1,0],[0,0,1,1,0,0]],
    [[0,0,1,1,1,0],[0,1,0,0,1,0],[0,0,0,0,0,1],[0,0,0,1,1,1],[0,1,0,0,1,0],[0,0,1,1,0,0]],
    [[0,0,1,1,1,0],[0,1,0,0,1,0],[0,0,0,1,1,1],[0,0,0,0,1,1],[0,1,0,0,0,1],[0,0,1,1,1,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,1,0],[0,1,0,0,1,0],[0,0,1,1,0,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,1,0],[1,0,0,0,1,0],[0,1,1,1,0,0]],
    [[0,1,1,1,0,0],[1,0,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,1,0],[0,1,0,0,1,0],[0,0,1,1,0,0]],
    #80
    [[0,1,1,1,0,0],[1,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,1,0],[1,1,0,0,1,0],[0,1,1,1,0,0]],
    [[0,1,1,1,0,0],[1,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,1,0],[0,1,0,0,1,0],[0,0,1,1,0,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,1,0],[1,1,0,0,1,0],[0,1,1,1,0,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,1],[0,0,0,1,1,0],[0,0,0,1,1,0],[0,1,0,0,1,0],[0,1,1,1,0,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,0],[0,0,0,1,1,0],[0,0,0,1,1,0],[0,1,0,0,0,1],[0,0,1,1,1,0]],
    [[0,1,1,1,0,0],[0,1,0,0,1,0],[0,0,0,1,1,0],[0,0,0,1,1,0],[1,1,0,0,1,0],[0,0,1,1,0,0]],
    [[0,0,1,1,0,0],[1,1,0,0,1,0],[0,0,1,1,1,0],[0,0,0,1,1,0],[1,1,0,0,1,0],[0,1,1,1,0,0]],
    [[0,1,1,1,0,0],[1,0,0,0,1,0],[0,0,1,1,1,0],[0,0,1,1,1,0],[0,0,0,0,1,0],[1,1,1,1,0,0]],
    [[1,1,1,1,0,0],[0,0,0,0,1,0],[0,0,1,1,1,0],[0,0,0,1,1,0],[0,1,0,0,1,0],[0,1,1,1,0,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,1],[0,0,0,0,1,0],[0,0,0,1,1,0],[1,1,0,0,1,1],[0,1,1,1,1,0]],
    #90
    [[0,1,1,1,0,0],[0,1,1,0,1,0],[0,0,0,0,1,0],[0,0,0,1,1,0],[0,1,0,0,1,0],[0,1,1,1,0,0]],
    [[0,1,1,1,0,0],[0,1,0,0,1,0],[0,0,0,1,1,0],[0,0,0,0,1,0],[0,1,1,0,1,0],[0,0,1,1,0,0]],
    [[0,0,1,1,0,0],[0,1,0,0,1,1],[0,0,0,0,1,1],[0,0,0,1,1,0],[1,1,0,0,1,0],[0,1,1,1,1,0]],
    [[1,1,1,1,1,0],[0,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,1,0],[1,1,0,0,1,0],[0,1,1,1,0,0]],
    [[1,1,1,1,0,0],[1,1,0,0,1,0],[0,0,0,0,1,0],[0,0,0,1,1,0],[1,1,0,0,1,0],[1,1,1,1,0,0]],
    [[0,0,1,1,1,0],[0,1,0,0,1,1],[0,0,0,1,1,0],[0,0,0,0,1,0],[0,1,0,0,1,1],[0,0,1,1,1,0]],])
#对应的标签
#shape = (96,3)
labels = np.array([[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],
                   [1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],
                   [1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],[1,0,0],
                   [1,0,0],[1,0,0],
                   [0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],
                   [0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],
                   [0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],[0,1,0],
                   [0,1,0],[0,1,0],
                   [0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],
                   [0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],
                   [0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],[0,0,1],
                   [0,0,1],[0,0,1]])
#激活函数
def a(x):
    return 1.0 / (1 + math.exp(-x))

#激活函数的导数
def aa(x):
    return a(x) * (1 - a(x))

#学习率n
n = 0.2

#初始化权重和偏置 神经网络总共69个参数
#初始化使用的是正态分布随机数
#卷积层
F = np.random.randn(3,3,3)
#输出层
O = np.random.randn(3, 3, 2, 2)
#6个偏置
FB = np.random.randn(3)
OB = np.random.randn(3)


#根据卷积层的i行j列返回神经单元连接的池化层神经单元的位置
def Pij(i,j):
    x = 0 if i <= 1 else 1
    y = 0 if j <= 1 else 1
    return (x,y)

#处理单张图像
def proprecessing(_inputs,t):
    #wi_j代表层i的第j个神经单元，SWi_j代表层i的第j个神经单元的平均误差对权重的偏导，SB代表平均误差对偏置的偏导，Ct为64张图像的平均误差的和
    #最终要得到的权重和偏置保存在wi_j和bs中
    global F,O,FB,OB,C,Wf,Wo,Bf,Bo

    #求加权输入z
    #36个分量
    x = _inputs.flatten()

    #卷积层的48个加权输入和48个神经单元输出
    Z = np.zeros((3,4,4))
    Fa = np.zeros((3,4,4))
    for k in range(3):
        w = F[k].flatten()
        for i in range(4):
            for j in range(4):
               Z[k][i][j] = np.sum(w * _inputs[i:i + 3,j:j + 3].flatten()) + FB[k]
               Fa[k][i][j] = a(Z[k][i][j])
               
    #池化层的12个加权输入和12个神经单元输出
    #池化层的输入和输出相等
    Zp = np.zeros((3,2,2))
    for k in range(3):
        for i in range(2):
            for j in range(2):
               Zp[k][i][j] = np.max([Fa[k][2 * i][2 * j],Fa[k][2 * i][2 * j + 1],Fa[k][2 * i + 1][2 * j],Fa[k][2 * i + 1][2 * j + 1]])
               
    #输出层3个加权输入和3个神经单元的输出
    Zo = np.zeros((3,1))
    Oa = np.zeros((3,1))
    for k in range(3):
        w = O[k].flatten()
        Zo[k] = np.sum(w * Zp.flatten()) + OB[k]
        Oa[k] = a(Zo[k])
        
    #平均误差
    C += 1.0 / 2 * ((t[0] - Oa[0]) ** 2 + (t[1] - Oa[1]) ** 2 + (t[2] - Oa[2]) ** 2)
    
    #输出层的神经单元误差3个
    Do = np.zeros((3,1))
    for k in range(3):
        Do[k] = (Oa[k] - t[k]) * aa(Zo[k])
        
    #卷积层的神经单元误差48个
    Df = np.zeros((3,4,4))
    for k in range(3):
        for i in range(4):
            for j in range(4):
                l = Pij(i,j)
                zeroOrone = 1 if Fa[k][i][j] == Zp[k][l[0]][l[1]] else 0
                Df[k][i][j] = np.sum(Do.flatten() * O[:,k,l[0],l[1]].flatten()) * zeroOrone * aa(Z[k][i][j])
                
    #平方误差关于过滤器的偏导数27个
    for k in range(3):
        for i in range(3):
            for j in range(3):
                Wf[k][i][j] += np.sum(Df[k].flatten() * _inputs[i:i + 4,j:j + 4].flatten())
    #偏置 3个
    for k in range(3):
        Bf[k] += np.sum(Df[k].flatten())
        
    #平方误差关于输出层神经单元的权重的偏导数
    for n in range(3):
        for k in range(3):
            for i in range(2):
                for j in range(2):
                    Wo[n][k][i][j] += Do[n] * Zp[k][i][j]
    #偏置3个
    Bo += Do

#平方误差
for k in range(50):
    C = 0.0
    Wf = np.zeros((3,3,3))
    Wo = np.zeros((3,3,2,2))
    Bf = np.zeros((3,1))
    Bo = Bf
    for i in range(96):
        proprecessing(_inputs[i],labels[i])
    #更新权重和偏置
    F+=(-1 * n * Wf)
    O+=(-1 * n * Wo)
    FB+=(-1 * n * Bf.flatten())
    OB+=(-1 * n * Bo.flatten())
    print('第{0}次神经网络的平均误差:{1}'.format(k + 1,C))
print(F.tolist())
print(O.tolist())
print(FB.tolist())
print(OB.tolist())

得到的权重结果就不贴了，测试程序:


import numpy as np
import math

#预设的测试图像为3
_inputs = np.array([[0,1,1,1,1,0],[0,0,0,0,1,0],[0,0,1,1,0,0],[0,0,0,0,1,0],[0,0,0,0,1,0],[0,1,1,1,0,0]])
#激活函数
def a(x):
    return 1.0 / (1 + math.exp(-x))

#激活函数的导数
def aa(x):
    return a(x) * (1 - a(x))


#初始化权重和偏置 神经网络总共69个参数
#初始化使用的是正态分布随机数
#卷积层
F = np.array(空，此处的值为上面得到的)
##输出层
O = np.array(空，此处的值为上面得到的)
##6个偏置
FB = np.array(空，此处的值为上面得到的)
OB = np.array(空，此处的值为上面得到的)
#根据卷积层的i行j列返回神经单元连接的池化层神经单元的位置
def Pij(i,j):
    x = 0 if i <= 1 else 1
    y = 0 if j <= 1 else 1
    return (x,y)

#处理单张图像
def getResult(_inputs):
    #wi_j代表层i的第j个神经单元，SWi_j代表层i的第j个神经单元的平均误差对权重的偏导，SB代表平均误差对偏置的偏导，Ct为64张图像的平均误差的和
    #最终要得到的权重和偏置保存在wi_j和bs中
    global F,O,FB,OB,C,Wf,Wo,Bf,Bo

    #求加权输入z
    #36个分量
    x = _inputs.flatten()

    #卷积层的48个加权输入和48个神经单元输出
    Z = np.zeros((3,4,4))
    Fa = np.zeros((3,4,4))
    for k in range(3):
        w = F[k].flatten()
        for i in range(4):
            for j in range(4):
               Z[k][i][j] = np.sum(w * _inputs[i:i + 3,j:j + 3].flatten()) + FB[k]
               Fa[k][i][j] = a(Z[k][i][j])
               
    #池化层的12个加权输入和12个神经单元输出
    #池化层的输入和输出相等
    Zp = np.zeros((3,2,2))
    for k in range(3):
        for i in range(2):
            for j in range(2):
               Zp[k][i][j] = np.max([Fa[k][2 * i][2 * j],Fa[k][2 * i][2 * j + 1],Fa[k][2 * i + 1][2 * j],Fa[k][2 * i + 1][2 * j + 1]])
    #输出层3个加权输入和3个神经单元的输出
    Zo = np.zeros((3,1))
    Oa = np.zeros((3,1))
    for k in range(3):
        w = O[k].flatten()
        Zo[k] = np.sum(w * Zp.flatten()) + OB[k]
        Oa[k] = a(Zo[k])
    print('图像中为1的概率为:{0},为2的概率为:{1},为3的概率为:{2}'.format(Oa[0],Oa[1],Oa[2]))
getResult(_inputs)

至此就结束了。

123
weixin_34378767的博客
06-14 138
123 转载于:https://www.cnblogs.com/David-Xiong/p/11024091.html
用最简单的神经网络识别手写数字
clcwcxfwf的专栏
06-03 1249
在上一篇文章中我们用Softmax Regression进行了手写数字的识别，精度达到了92%，非常的鼓舞人心。现在让我们进入神经网络的世界，用一个最简单的神经网络来进行手写数字的识别，数据集还是选择MNIST。因为图片的大小是28 * 28像素，所以需要784个输入神经元。输出是0~9这10个数字，所以用10个神经元作为output layer。既然是最简单的神经网络，那我们就只用1层的hi
字符识别？
笑看风云起的专栏
10-21 1630
你的任务是写一个程序进行字符识别。别担心，你只需要识别1, 2, 3，如下：   .*.  ***  *** .*.  ..*  ..* .*.  ***  *** .*.  *..  ..* .*.  ***  *** Input 输入仅包含一组数据，由6行组成。第一行为字符的个数n（1 Output 输出应包含一行，即识别出的各个字符。 Sample
街道字符识别赛题理解
Howell_的博客
05-20 536
这算是我的第一篇的CV笔记，CV方面了解的不多,这次的街道字符识别算是一个正式的入门吧，下面简要介绍一下我对本次赛题的一些个人理解。 1、赛题数据* 赛题以街道字符为赛题数据，来源于SVHN街道字符（The Street View House Numbers (SVHN) Dataset），训练集数据包括3W张照片，验证集数据包括1W张照片，每张照片包括颜色图像和对应的编码类别和具体位置；测试集A包括4W张照片，测试集B包括4W张照片。 如上图所示，都是原始数据。在分辨率和颜色上存在差异性的图片，在字符级
MATLAB_简单的基于matlab的神经网络识别手写数字，从最底层剖析神经网络的定义，训练。.zip
09-12
MATLAB环境下构建神经网络进行手写数字识别的详细过程，首先需要理解神经网络的基本概念，包括它的结构、工作原理以及如何通过训练数据来学习特征。神经网络由输入层、隐藏层和输出层组成，每一层由多个神经元组成，...
基于BP神经网络的手写数字识别实验报告.doc
09-25
本篇实验报告旨在探讨基于BP神经网络在手写数字识别方面的应用，并通过MNIST数据集的实验验证其有效性。 人工智能是模仿人类智能行为的技术科学，涉及计算机科学、心理学、语言学等多个学科领域。作为其子领域之一...
java实现的感知机手写数字识别
08-30
它是最早形式的神经网络，具有简单、直观的特点。本项目是使用Java实现的感知机，用于手写数字识别，这在图像处理和模式识别领域有着广泛应用，如OCR（光学字符识别）系统。 首先，我们要理解感知机的工作原理。...
pytorch实现手动数字识别
07-25
pytorch实现手动数字识别，文章参考 https://blog.youkuaiyun.com/fengzhongye51460/article/details/140688107， 学些pytorch神经网络的简单的入门例子
识别车牌是什么神经网络,车牌识别深度神经网络
wenangou的博客
10-15 1168
通过对图像的采集和处理，完成车牌自动识别功能，能从一幅图像中自动提取车牌图像，自动分割字符，进而对字符进行识别.其硬件基础一般包括触发设备(监测车辆是否进入视野)、摄像设备、照明设备、图像采集设备、识别车牌号码的处理机(如计算机)等，其软件核心包括车牌定位算法、车牌字符分割算法和光学字符识别算法等。车牌识别技术要求能够将运动中的汽车牌照从复杂背景中提取并识别出来，通过车牌提取、图像预处理、特征提取、车牌字符识别等技术，识别车辆牌号，目前的技术水平为字母和数字的识别率可达到96%，汉字的识别率可达到95%。
2021-05-23 手写数字识别之网络结构
weixin_51501199的博客
05-23 645
手写数字识别之网络结构 不可能是一个线性关系 使用普通的多层神经网络 1.基础模型：神经网络 （1）输入层+隐含层+输出层，非线性转化为sigmoid （2）输出层：单一输出 2.以类的方式组建网络 （1）初始化函数：定义每层 （2）Forward函数：串联方式 输入层：将数据输入给神经网络。在该任务中，输入层的尺度为28×28的像素值。 隐含层：增加网络深度和复杂度，隐含层的节点数是可以调整的，节点数越多，神经网络表示能力越强，参数量也会增加。在该任务中，中间的两个隐含层为10×1
学习记录(3):使用卷积神经网络进行手写数字识别
weixin_50569944的博客
03-04 3808
首先，本人也是刚接触机器学习和深度学习，所以可能代码不会太难。这些学习都是在学习了一些机器学习和深度学习的基础上的延伸，并且也学习了一部分pytorch的基础上，以下为相关链接： 吴恩达机器学习 吴恩达深度学习 莫烦pytorch学习 下面代码均上传到github上，链接如下：deep_learning_cnn_target_detection 此次做的是使用卷积神经网络进行手写数字识别： 1.收集手写数字的数据集 使用的代码是cnn_get_img.py，主要的作用就是识别...
手写数字的分割和识别
JockerWong的笔记工厂
04-08 1万+
前言 在机器学习领域，手写数字数据集MNIST之于机器学习几乎相当于HelloWorld之于编程语言，其重要地位不言而已。但是，然后呢？给你一张如下所示的图片，你的模型能否也预测出结果？（其实下面这个应用就是OCR领域的内容了，另详细的代码内容和注释可以参考我的github https://github.com/Wangzg123/HandwrittenDigitRecognition） 这篇博...
神经网络识别数字0-9
lxx_123456的博客
02-22 4955
神经网络识别数字 opencv3.1.0+vs2013 只允许单张图片识别 训练集为数字样本0-9，每类样本内有50个数字图片。 #include&lt;windows.h&gt; #include &lt;opencv2/opencv.hpp&gt; #include "opencv2/core/core.hpp" #include "opencv2/imgproc/imgproc....
基于BP神经网络的数字识别
m0_59817540的博客
08-28 3358
主要内容1.课题研究背景2 图像预处理3 模式识别4识别效果5总结课题研究背景 近年来,人工神经网络技术取得了巨大的发展,它所具有的优势：固有的并行结构和并行处理、知识的分布存储、容错性、自适应性、模式识别能力,为手写体数字识别开辟了新的途径。 数字识别作为模式识别的一个重要分支,在邮政、税务、交通、金融等行业的实践活动中有着及其广泛的应用。 数字...
【opencv】神经网络识别数字
热门推荐
小白笔记本
05-12 1万+
文本直接仅对0-9这十个文件夹中sample_mun_perclass个样本进行训练，直接通过API函数FindFirstFile和FindNextFile得到目录下文件，不需要对图片名编号用了一下午时间去调这个代码，所以还有很多不完善的地方，以后有时间再去完善，比如： 本文的测试图片仅仅是单张测试，如果要测试准确率，可以根据前面训练时批量读取图片的代码进行简单修改，即可进行批量测试。 参考链接
利用深度学习(CNN)进行验证码(字母+数字)识别
helen1313的专栏
10-27 1万+
本文方法针对的验证码为定长验证码，不包含中文。 本文的思路是：1. 使用keras中预训练好的模型，在python生成的验证码（5万条）上fine tune，得到python验证码模型；2. 使用python验证码模型，在实际验证码（500条）上fine tune；3. 增加样本，提高精度。 通俗的解释2个问题： keras中预训练好的模型是什么东西？ 答： keras上有很多已经...
学习笔记二十二：神经网络的几起几落
最新发布
dengdaijc的专栏
11-30 998
神经网络发展历经多次起落：1940年代萌芽（M-P模型、Hebb学习规则），1956-1969年第一次繁荣（感知机、Adaline），1969年后进入冰河期（《Perceptrons》的负面影响，1974年BP算法被忽视），1984-1997年第二次繁荣（Hopfield网络、1986年BP算法重新发现），1997年后沉寂（SVM与统计学习理论兴起），2012年至今第三次繁荣（深度学习崛起，在ImageNet等竞赛中取得突破，产业界大量投入）。
下一代神经网络：架构革新、能效优化与智能融合的理论综述
andeyeluguo的博客
11-29 164
此外，无监督学习方面，基于脉冲时序依赖可塑性（STDP）的局部学习规则被用于构建多层SNN，如Meng等人提出的Spiking Inception模块[6]，有效提升了特征提取能力。例如，清华大学团队基于忆阻器阵列构建的SNN芯片[24]，在CIFAR-10上实现>10 TOPS/W的能效比。脉冲神经网络（Spiking Neural Networks, SNNs）作为第三代神经网络模型，通过模拟生物神经元的离散脉冲发放机制，实现了事件驱动的稀疏计算，理论上可比传统ANNs降低数个数量级的能耗[2]。
同时识别英文和数字
08-21
首先，用户的问题是：“我想识别英文和数字 请问同时识别英文字符和数字的方法或技术”。这涉及到字符识别，特别是英文和数字的识别。 从系统指令中，我需要： - 所有行内数学表达式用 $...$ 格式。 - 独立公式用 $...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值