14、学习与个体发育：从动物行为到神经网络的探索

学习与个体发育：从动物行为到神经网络的探索

1. 学习理论与网络关联的困境

学习理论中的关联概念与网络节点间的连接存在难以对应的问题。网络采用分布式处理，单个连接可能对多种刺激的响应都有贡献；而学习理论通常考虑刺激与反应间的一对一关联。在学习理论里，关联概念还用于区分不同的学习现象，如习惯化被视为“非关联学习”，与经典和工具性条件作用等“关联学习”相对。不过，习惯化可被描述为同一模型中初始反应的消退，且在某些研究中，支持敏感化（一种“非关联”学习形式）的神经网络与负责经典条件作用的网络在很大程度上重合。这表明神经网络学习模型并不强制要求在关联和非关联学习之间做出严格区分。

2. 学习后的反应研究

在行为层面，通过探索对刺激反应的变化来研究学习结果。我们需明确区分行为映射（刺激如何产生反应）和学习（经验如何改变行为映射）。但在研究学习时，行为映射的特征也很重要，不同的刺激表征假设可能导致对学习现象的不同预测，这意味着不能像多数学习理论那样将学习与表征分开研究。

3. 动物训练与网络训练的对比

动物训练和网络训练方法各自独立发展。动物训练主要基于行为主义时代的知识，如斯金纳及其追随者的研究。例如，动物训练公司Animal Behavior Enterprises运用工具性条件作用原则，在45年内训练了约15000只、140个不同物种的动物，用于军事到娱乐等多种目的。Bob Bailey总结动物训练的艺术为“训练简单但不容易”，他建议将训练分解为多个步骤，并简化每个步骤，通过精确给予强化使目标对动物明确。将这些原则应用于神经网络训练或许能缩短训练时间，逐步掌握复杂技能。

4. 行为个体发育的案例：家禽的沙浴行为

个体发育指个体一生中行为或行为系统的发展，始于胚胎早期，包含多种复杂过程。家禽的沙浴行为是行为个体发育的典型例子。沙浴由翅膀、脚、头和身体的一系列协调动作组成，目的是去除羽毛中的脂质，保持羽毛良好状态。其发育过程如下表所示：
| 年龄 | 行为 |
| ---- | ---- |
| 第1天 | 啄食 |
| 第3天 | 学习沙浴刺激 |
| 第一周 | 出现其他一些动作 |
| 第8天 | 出现中央调节迹象 |
| 第12天 | 所有动作出现 |
| 第14天 | 中央调节完全发育 |
| 第二周 | 动作协调 |
| 第一个月 | 完全整合 |
| 直至第五个月 | 沙浴量变化 |

沙浴行为并非在幼禽身上完全成型，而是在生命的最初几个月逐渐发展。动作、协调和中央调节的发展无需特定经验，而感知机制及其与中央机制的连接发展则需要沙浴相关的特定经验。这体现了行为个体发育的几个普遍特点：
- 行为通过一系列事件发展，最终达到成年形式，行为系统的不同组件部分独立发展，逐渐固定为正常成年形式，过程中的行为可能无实际功能意义。
- 正常发育通常需要特定经验，不同物种和行为存在差异，简单物种的多数行为机制可能在需要时已准备好，学习时遗传倾向对确保学习适当内容至关重要。
- 个体发育中动物内部的许多变化在后期才会在行为中体现，这使得发现个体发育的驱动因素和解释行为观察结果变得困难。

5. 神经系统的个体发育

行为个体发育的物质基础是神经系统的个体发育。神经系统高度结构化，由多种细胞类型及细胞间的连接模式组成，连接复杂多样。近年来，我们对神经系统个体发育的了解有了很大提升，大致可分为四个阶段：

graph LR
    A[神经元生成与迁移] --> B[轴突和树突生长]
    B --> C[建立连接]
    C --> D[连接细化]

• 神经元生成与迁移：各种类型的神经元生成并迁移到特定位置，形成空间组织。
• 轴突和树突生长：轴突向目标细胞生长，多种过程引导其到达目标。
• 建立连接：细胞间建立突触连接，通常数量众多且模式不特定。
• 连接细化：通过弱化或移除一些连接、强化其他连接来优化连接。外部刺激在最后两个阶段尤为重要。

神经系统的发育受基因和外部事件共同控制，还存在“自组织”过程。简单神经系统中，基因控制占主导，如秀丽隐杆线虫的神经系统按严格的细胞分裂和死亡计划发育，但它仍有学习能力。在大型神经系统中，没有精确的“蓝图”，神经细胞按遗传指令选择性接触其他细胞，导致“自组织”。许多发育过程受感官经验和行为影响，如丰富环境能使大鼠大脑皮层更厚、神经元供血更好等，感官输入还能细化突触连接。

6. 神经网络对个体发育的研究

学习作为连接细化和个体发育的最后阶段，一直是神经网络研究的核心。但关于行为个体发育的广泛研究较少，多数研究局限于固定网络架构内连接值变化引起的网络行为变化，未考虑神经元的诞生、生长以及连接的形成和控制因素。相关研究问题包括人类语言习得、感知学习和印记等。
- 英语过去式学习模型 ：Rumelhart和McClelland的研究旨在模拟儿童学习英语动词过去式的过程。前馈网络接收动词词干输入，通过反向传播训练输出相应的过去式。规则动词的掌握表现为性能的稳定增长，不规则动词的处理能力在训练一段时间后会突然下降，之后随着网络逐个学习每个动词而再次提高。
- 印记的神经网络模型 ：Bateson和Horn开发的模型用于模拟幼鸟的印记过程，网络包含分析层、识别层和执行层，初始时除分析层和执行层的直接连接权重外，其他权重较小。Hebbian学习规则强化与接近刺激相关的连接，另一个学习规则降低未遇到刺激引发接近反应的能力，最终结束敏感期。O’Reilly和Johnson基于鸡印记相关脑区的连接性开发了类似功能但架构不同的模型，通过Hebbian学习修改连接，使网络最终只对经历过的对象（或相似对象）做出反应。

这些研究表明，至少部分行为个体发育的观察结果可能取决于记忆的重组，先获取一般信息再获取特定信息的策略似乎是感知学习的普遍特征。感知学习通常在生命早期发生，能使神经系统适应环境的一般特征。而且，即使没有预先倾向的简单学习规则也能实现与功能行为相关的重要感官组织。

7. 构建个体发育的通用框架

目前，行为个体发育不能仅依赖固定网络架构内的连接细化，神经系统还会在神经细胞数量和连接性等方面发展。例如，雄性斑胸草雀在25 - 60日龄时，HVC脑核到RA核的连接会生长。当前缺乏基于神经网络的通用框架来全面模拟行为个体发育。

构建通用神经网络个体发育模型的目标是从行为层面直观解释动物发育，尤其要说明个体发育因素（如敏感期和倾向）如何出现和调节发育。在神经网络框架内，行为变化应通过网络部分及其相互作用的发展来解释，这通常由自动成熟过程、行为和感官经验导致。例如，类固醇激素对雄性和雌性斑胸草雀的鸣唱核（HVC）增殖的控制就是一个内部过程的例子。

为全面理解个体发育，现有神经网络模型需进一步发展。我们需要额外的状态变量来描述网络架构和节点属性，以及改变这些状态的规则。通用模型的构建应基于对神经系统发育的了解，反映动物中建立神经网络的物质过程。同时，特定经验可能触发新的发育阶段，导致突触变化和神经细胞数量及连接性的改变。神经网络个体发育模型应考虑生物体与环境的动态相互作用，如生成式连接主义架构中系统在学习过程中招募新神经细胞。

学习与个体发育：从动物行为到神经网络的探索

8. 感知学习与网络权重组织

感知学习和其他个体发育现象通常在没有明显行为表现和环境反馈的情况下发生。这在网络模型中体现为常使用无需全局信号的学习算法。例如，在一些简单模拟中，通过Hebbian学习可以使空间组织化的感受野得以发展。

在一个模拟中，初始时模型视网膜的所有节点以相同权重向输出节点发送输入。在模拟过程中，根据Hebbian规则中一个参数的值，会发展出不同类型的感受野。比如中心 - 环绕感受野，输出节点会被模型视网膜中一个界限明确、近似圆形区域内的输入节点激发，而环绕该圆形区域的圆盘状区域内的其他输入节点则提供抑制性输入，圆盘外的节点对输出节点的影响可忽略不计，这可被视为感受野个体发育过程中连接的修剪。

另一个模拟中，一个有许多通过抑制性连接相连的输出节点的网络，在经历相同的个体发育过程后，能够发展出覆盖整个视网膜的感受野。

如今，有许多关于在没有明确环境反馈的情况下组织网络权重的研究，但这些模型在行为个体发育方面的应用还不够成熟。

9. 个体发育研究的挑战与展望

目前，虽然已经有一些关于行为个体发育的神经网络研究，但仍面临诸多挑战。现有的研究大多局限于固定网络架构内连接值的变化，而忽略了神经元的诞生、生长以及连接的形成和控制等重要方面。

为了构建一个更全面的个体发育模型，需要考虑以下几个方面：
- 状态变量与规则 ：引入额外的状态变量来描述网络架构和节点的属性，同时制定相应的规则（状态转移方程）来模拟真实神经系统中的变化，如新细胞的生成和特定连接的建立。
- 环境交互 ：考虑生物体与环境的动态相互作用。特定的经验可能会触发新的发育阶段，导致突触变化、神经细胞数量和连接性的改变。因此，模型应能够反映这种内外因素的相互影响。
- 通用框架构建 ：基于对神经系统发育的深入了解，构建一个通用的神经网络模型，以直观地解释动物在行为层面的发育过程。这个模型应能够说明个体发育因素（如敏感期和遗传倾向）是如何出现并调节发育的。

以下是一个总结现有研究不足和未来需求的表格：
| 现有研究情况 | 未来需求 |
| ---- | ---- |
| 多数研究局限于固定网络架构内连接值变化 | 引入描述网络架构和节点属性的状态变量及相应规则 |
| 未考虑神经元诞生、生长及连接形成控制 | 模拟新细胞生成和特定连接建立 |
| 对环境交互考虑不足 | 考虑生物体与环境的动态相互作用 |
| 缺乏通用的行为个体发育模型 | 构建能解释行为发育过程及个体发育因素的通用模型 |

10. 总结与启示

通过对动物行为和神经网络的研究，我们对学习和个体发育有了更深入的理解。从家禽的沙浴行为到神经系统的复杂发育过程，我们看到行为的发展是一个逐渐演变的过程，受到遗传和环境因素的共同影响。

在神经网络研究中，虽然已经取得了一些进展，但仍需要不断完善和拓展。构建一个通用的个体发育模型不仅有助于我们更好地理解动物的行为和认知发展，还可能为人工智能和机器人技术的发展提供新的思路。例如，借鉴生物神经系统的发育机制，开发具有自适应和学习能力的智能系统。

未来的研究可以沿着以下几个方向展开：

graph LR
    A[深入研究神经元发育机制] --> B[完善神经网络模型]
    B --> C[应用于人工智能和机器人技术]
    A --> D[探索环境因素对发育的影响]
    D --> B

• 深入研究神经元的发育机制，包括神经元的生成、迁移和连接形成的具体过程，为神经网络模型提供更准确的生物学基础。
• 不断完善神经网络模型，考虑更多的生物因素和环境交互，使其能够更真实地模拟行为的个体发育。
• 将研究成果应用于人工智能和机器人技术，开发具有更强学习和适应能力的智能系统，使其能够在复杂的环境中自主学习和发展。
• 进一步探索环境因素对个体发育的影响，了解不同环境条件下行为和神经系统的发育差异，为优化模型和应用提供更多的依据。

总之，学习和个体发育是一个复杂而迷人的领域，通过多学科的研究和探索，我们有望揭示其中的奥秘，为生物科学和技术的发展做出贡献。