19、神经网络设计的逻辑基础

神经网络设计的逻辑基础

1. 动机

在开启任何漫长的旅程之前，明确目的地、行程方式以及最重要的——出行原因至关重要。最后一个问题往往决定了行程规划的方法。同样，我们的首要目标是激发大家探索一种神经网络设计方法的兴趣。

我们旨在为人工神经网络的设计构建一个逻辑基础。为此，我们将开发一套用于设计、合成、分析、测试，尤其是理解一种新型计算元件——归纳逻辑单元（ILU）的方法。ILU的功能架构由归纳逻辑、概率以及香农提出的信息理论的补充扩展所决定。

ILU作为一种物理设备，类似于电气工程师常用的晶体管、运算放大器或逻辑门。我们将采用工程方法来推导其特性、分析其特点，并通过模拟和测试对其进行评估。例如，我们会绘制不同参数范围内的工作曲线，类似于晶体管的增益曲线。这种特性描述将有助于针对特定问题进行面向应用的设计。ILU处理的数据来源并不重要，可能来自金融、科学或其他领域，因此它具有广泛的适用性。

我们的目标是设计一种理性的设备。“理性”在字典中的定义是“具有或运用推理能力”，它源于拉丁语“rationalis”，而“rationalis”又源自“ratio”，意为计算。ILU在各个方面都是理性的，它能计算一种比率关系，描述两个相似事物之间的相对程度，并利用该比率来确定最合理的问题和决策。

ILU是理性论证的自然产物，它能够学习、推理、提问和决策。尽管单个ILU是强大的计算设备，但它通常是归纳逻辑计算机（ILC）的一部分，ILC由多个类似组件构成，用于执行特定任务。

那么，为什么使用“归纳”这个形容词呢？归纳逻辑与演绎逻辑有何区别？归纳逻辑是对演绎逻辑概念的推广。大多数人熟悉演绎逻辑，传统数字计算机就是演绎的，它们基于数字（二进制）