44、机器学习中的约束、逻辑与学习模式探索

机器学习中的约束、逻辑与学习模式探索

1. 约束机器与学习推理的统一

约束机器是机器学习领域的关键概念。在许多论文中，机器学习已在约束满足的框架下进行了阐述，但对于围绕约束概念的深度统一却关注不足。在核机器领域，执行约束和探索简约满足的思想得到了主要探索，但大多局限于逐点约束。

早期，有研究尝试丰富简约软满足原则。在Hopfield网络的早期研究中，能清晰看到推广约束软满足以进行推理处理的理念。这种约束满足在循环神经网络中产生推理步骤，而成对约束的满足在监督学习中也有对应。将多层网络和Hopfield网络置于同一框架下处理是有原因的，其围绕着学习和推理背后的统一计算机制，这一统一原则的根源可追溯到人类的“做中学”理论，即学习应具有相关性和实用性，而非仅仅是被动的理论学习。

学习的变分框架涉及任务和约束反应。解决学习问题时，对于硬约束，需要同时发现任务 $f$ 和伴随的拉格朗日乘子函数 $\lambda$；引入松弛变量后，软约束也是如此。学习过程呈现出同时发展任务和为环境约束分配权重的有趣特征，这类似于注意力聚焦机制。拉格朗日乘子既能表达任务，又能体现约束的重要程度，乘子为零则表示存在无意义的约束。

约束的分类以及基于正则化算子的学习变分设置有详细讨论。正则化可在正则化算子框架下引入，其与核的概念有有趣的联系。当约束集假设为功能独立时，拉格朗日乘子能唯一确定。但维数灾难对理论的有效性提出了严重警告，目前对于学习和推理在该框架下的相互作用仍需深入研究。

1.1 功能独立与支持约束

可将相关表示结果扩展到功能独立的约束集合。即能找到函数和约束索引的排列，使得在某点定义的约束对应的雅可比矩阵非奇异，此时拉格朗日乘子唯一确定。