Hinton Neural Network课程笔记11a: Hopfield Net的定义与应用

课程简介

Geoffrey Hinton 2012年在coursera上开的网课：Neural Networks for Machine Learning。

课程笔记

本文只包括Hopfield的定义与应用，并不包括对其的深度理解，以及各种设置的insight。关于Hopfield的详细介绍，可以参考《现代模式识别（第二版）》（里面包括对于Hopfield Net其他角度的理解与应用，讲解也更加系统。个人猜测课程中的Hopfield Net只是为了引入RBM）。

1. Hopfield的结构、定义

Hopfield本身是个循环神经网络。
限制条件是 没有隐层节点，节点只能是二值的（0/1 或者-1/1），权值也是对称的。

1.1. Hopfield Net VS Recurrent Neural Network

上诉限制条件使得Hopfield Net避免了普通循环神经网络（含有非线性节点的）网络的难于分析的问题。普通的循环网络可以存在多种行为模式：稳定收敛、震荡、混乱轨迹难于预测（除非有无限精度的浮点数计算）。
而Hopfield Net的权值矩阵是对称的，所以可以定义一个能量函数，然后使用二值的决断规则（改变节点的值，而不是改变权值，这是test的部分，而不是train的部分）使得网络收敛到一个能量函数的局部最小值。这样Hopfield Net就是可以分析的了。

1.2. Hopfield Net的能量函数

Hopfield Net定义了一个全局的能量函数:
E=−Σi(sibi)−Σ