6、三层阈值网络合成方法解析

三层阈值网络合成方法解析

1. 引言

在处理二进制到二进制的映射函数时，线性可分性是一个关键概念。如果一个给定的二进制到二进制映射函数具有线性可分性，那么该函数可以仅由一个阈值元件（TE）实现。然而，如果给定的函数不是线性可分（LS）函数，则需要多个TE来实现该函数。本文将介绍一种基于几何方法的算法，用于将任何线性不可分函数分解为多个LS函数，并通过三层阈值网络（TLTN）实现这些函数。

2. 基础知识

• 分离超平面与阈值元件 ：一个n输入的TE可以建立(n - 1)维的分离超平面。TE的输入输出关系与相应的超平面相关，并且TE比超平面承载更多信息，它为超平面的每一侧分配1或0，而超平面仅定义两组顶点之间的边界。
• 线性可分函数 ：若一个二进制到二进制映射函数是线性可分的，则可以用一个TE实现；否则，需要多个TE。主要问题是如何将线性不可分函数分解为两个或更多LS函数，并将这些LS函数组合以产生期望的输出。

3. 扩展截断学习（ETL）算法

ETL算法是一种几何学习算法，用于将任何线性不可分函数分解为多个LS函数。对于任何二进制到二进制映射，ETL将确定所需的LS函数，每个函数由隐藏层中的一个TE实现。

3.1 算法示例

考虑一个具有三个输入变量的函数$f(x_1, x_2, x_3)$：
| 输入 | 输出 |
| ---- | ---- |
| {000, 010, 011, 111} | 1 |
| {001, 100,