用训练集去重构权重空间的几何形态

导出神经网络的收敛权重，用openscad画出，观察权重的形态和训练集有什么关系？

用神经网络分类A和B，A有4个1，B有两个1，

第一组

1	1		0	0
1	1		1	1		0	1
	4211
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次
9.97E-05	0.9999	208768	1	1	1	1.00E-04	452
初始w1	初始w2		收敛w1	收敛w2
0.097	0.073		3.179115	5.192032
0.009	0.079		2.952528	-5.14588
0.083	0.053		-2.5964	4.675747
-0.038	0.007		-3.57248	-4.71622
0.063	-0.094		3.145115	-3.9308
0.073	-0.012		3.016528	3.803969
-0.01	0.029		-2.6894	-6.38397
-0.044	0.085		-3.57848	6.501241
0.017			-1.48853
-0.004			-1.41561
-0.024			1.214279
-0.002			1.690592
0.075			-1.43053
0.091			-1.32061
-0.072			1.166279
-0.042			1.650592

将收敛w1用openscad画成图

权重有x=0，1，2，3共4列。权重正负对称分布，x=0，x=1两列绝对值较大，而这也刚好是训练集B中0所在的位置。X=2，x=3的两列绝对值小些，而这两列就是B中1所在的位置。所以图片分成了x=0，1对应0的列，和x=2，3对应1的列。并且0列和1列在y值相同的情况下是正负对称的。

所以权重的分布可以概括为，按列分布，同列正负对称，0列和1列之间正负对称。

第二组

1	1		0	0
1	1		1	1
	4212
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次
1.00E-04	0.9999	200896	1	1	1	1.00E-04	437
初始w1	初始w2		收敛w1	收敛w2
-0.052	0.007		2.366855	3.518718
0.081	-0.062		3.47326	-3.60468
-0.092	0.095		-3.30454	6.235552
-0.048	0.053		-3.21512	-6.15468
0.019	-0.042		2.437855	-5.35722
0.001	-0.084		3.39326	5.268208
-0.032	0.023		-3.24454	-5.02863
-0.002	0.043		-3.16912	5.127822
-0.086			-1.09508
0.057			-1.49748
0.089			1.542995
0.091			1.499604
0.039			-0.97008
-0.092			-1.64648
-0.016			1.437995
-0.012			1.396604

第二组4212和4211的形态很相近，不过4211是y=0比y=1大。而4212是y=1要比y=0大。

第三组

1	1		0	0
1	1		1	1
	4213
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次
9.98E-05	0.9999	202760	1	1	1	1.00E-04	452
初始w1	初始w2		收敛w1	收敛w2
0.095	-0.082		3.305855	5.596083
-0.034	-0.022		-3.45581	-5.71857
-0.084	-0.098		-2.91473	-6.01884
0.019	0.021		2.719258	5.962803
0.041	0.027		3.251855	-4.33551
-0.08	0.009		-3.50181	4.386594
-0.054	0.079		-2.88473	4.20464
-0.03	0.059		2.670258	-4.07952
-0.044			-1.48813
0.061			1.682682
0.085			1.358851
-0.052			-1.27472
-0.074			-1.51813
-0.094			1.527682
-0.018			1.255851
0.097			-1.12572

4213当x=0时是按照+，-，-，+的顺序排列，这与前两组不同，但同样也是按列分布，同列正负对称，0列和1列正负对称。

第4组

1	1		0	0
1	1		1	1
	4214
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次
1.00E-04	0.9999	202292	1	1	1	1.00E-04	594
初始w1	初始w2		收敛w1	收敛w2
0.063	-0.086		2.962077	4.722895
-0.078	-0.082		-3.14166	-4.82741
0.063	-0.07		3.101934	-4.97566
-0.02	-0.07		-3.25318	4.866692
0.091	0.071		2.990077	5.08462
-0.004	-0.032		-3.06766	-4.97985
0.005	0.019		3.043934	-5.34991
-0.064	0.063		-3.29718	5.458447
-0.064			-1.41745
0.071			1.484784
-0.012			-1.45151
-0.026			1.518878
0.069			-1.28445
-0.064			1.349784
0.089			-1.35051
-0.054			1.490878

4211	+	+	-	-
4212	+	+	-	-
4213	+	-	-	+
4214	+	-	+	-

分布规则是一样的，正负顺序不同。

第5组

1	1		0	0
1	1		1	1
	4215
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次
1.00E-04	0.9999	202372	1	1	1	1.00E-04	424
初始w1	初始w2		收敛w1	收敛w2
0.039	0.091		3.165346	5.099714
0.063	-0.038		-3.23951	-5.15696
-0.066	0.059		-3.15975	-5.46797
0.077	0.095		2.982424	5.490544
-0.084	0.029		3.042346	-4.86109
-0.064	0.077		-3.36651	4.83728
0.095	0.079		-2.99875	4.70657
-0.016	0.077		2.889424	-4.64865
0.095			-1.41636
0.037			1.575041
0.015			1.432091
-0.036			-1.31955
0.095			-1.41636
-0.076			1.462041
-0.042			1.375091
-0.056			-1.33955

4211	+	+	-	-
4212	+	+	-	-
4213	+	-	-	+
4214	+	-	+	-
4215	+	-	-	+

4215和4213一样是+，-，-，+的分布。

第6组

1	1		0	0
1	1		1	1
	4216
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次
1.00E-04	0.9999	204744	1	1	1	1.00E-04	440
初始w1	初始w2		收敛w1	收敛w2
0.057	-0.026		-3.04641	-4.98196
-0.062	-0.09		-3.27212	4.949424
0.071	0.033		3.306768	-5.32296
0.077	-0.086		2.861536	5.358271
-0.048	0.089		-3.15141	5.459845
0.015	-0.076		-3.19512	-5.36669
-0.052	-0.098		3.183768	4.365728
0.091	-0.072		2.875536	-4.46048
0.013			1.431838
0.079			1.504558
0.011			-1.53654
-0.048			-1.29019
-0.01			1.408838
0.049			1.474558
0.093			-1.45454
-0.07			-1.31219

4211	+	+	-	-
4212	+	+	-	-
4213	+	-	-	+
4214	+	-	+	-
4215	+	-	-	+
4216	-	-	+	+

4216是-，-，+，+刚好和4211，4212反过来。

第7组

1	1		0	0
1	1		1	1
	4217
f2[0]	f2[1]	迭代次数n	平均准确率p-ave	1-0	0-1	δ	耗时ms/次
9.98E-05	0.9999	208386	1	1	1	1.00E-04	443
初始w1	初始w2		收敛w1	收敛w2
-0.082	0.039		-2.66515	-3.65956
-0.002	0.085		3.461867	3.719058
0.063	-0.028		-3.59584	6.113874
-0.074	-0.084		2.422256	-6.23017
0.069	-0.066		-2.51415	-6.7082
-0.002	0.093		3.461867	6.643042
-0.082	0.069		-3.74084	3.715785
0.075	0.081		2.571256	-3.59646
-0.008			1.180156
-0.042			-1.60687
-0.094			1.701926
-0.012			-1.1058
-0.068			1.120156
-0.032			-1.59687
-0.084			1.711926
-0.002			-1.0958

4211	+	+	-	-
4212	+	+	-	-
4213	+	-	-	+
4214	+	-	+	-
4215	+	-	-	+
4216	-	-	+	+
4217	-	+	-	+

4217和4214刚好反过来。

所以实验证实了权重的分布特征，按列分布，同列正负对称，0列1列正负对称。

满足这些条件的所有可能性都是合理的。

权重的列分成4种情况，A的0列，B的0列，AB重合的0列，AB重合的1列。这次实验也表明了，权重空间的0列和1列的所在位置与训练集0和1的位置是一致的，0列比1列的绝对值要大。