神经网络的起源和发展,神经网络的网络结构

简述人工神经网络的结构形式

神经网络有多种分类方式，例如，按网络性能可分为连续型与离散型网络，确定型与随机型网络:按网络拓扑结构可分为前向神经网络与反馈神经网络。本章土要简介前向神经网络、反馈神经网络和自组织特征映射神经网络。

前向神经网络是数据挖掘中广为应用的一种网络，其原理或算法也是很多神经网络模型的基础。径向基函数神经网络就是一种前向型神经网络。Hopfield神经网络是反馈网络的代表。

Hvpfi}ld网络的原型是一个非线性动力学系统，目前，已经在联想记忆和优化计算中得到成功应用。模拟退火算法是为解决优化计算中局部极小问题提出的。

Baltzmann机是具有随机输出值单元的随机神经网络，串行的Baltzmann机可以看作是对二次组合优化问题的模拟退火算法的具体实现，同时它还可以模拟外界的概率分布，实现概率意义上的联想记忆。

自组织竞争型神经网络的特点是能识别环境的特征并自动聚类。自组织竟争型神经网络已成功应用于特征抽取和大规模数据处理。

什么是无尺度网络 15

图片请参考：欢迎到论坛来讨论网络有随机网络和无尺度网络，许多网络包括因特网"人类社会和人体细胞代谢网络等，都是无尺度网络AI爱发猫 www.aifamao.com。研究无尺度网络，对于防备黑客攻击、防治流行病和开发新药等，都具有重要的意义。

一个实例：如图所示，因特网是一个无尺度网络，其中某些站点似乎与无数的其他站点相连结(参见右图的星爆形结构细节)。本图绘制于2003年2月6日，描绘了从某一测试站点到其他约10万个站点的最短连结路径。

图中以相同的颜色来表示相类似的站点。大脑，是由轴突相连结的神经细胞网络，而细胞本身，又是由生化反应相连结的分子网络。社会也是一个网络，它由友情、家庭和职业关系彼此连结。

在更大的尺度上，食物链和生态系统可以看作由物种所构成的网络。科技领域的网络更是随处可见:因特网、电力网和运输系统都是实例。

就连在文章中我们用以向你传递思想的语言，也是一种藉由语法相互串连在一起的文字网络。尽管网络是如此重要和普遍，但科学家对它的结构和属性却知之不多。

在复杂的基因网络中，故障节点是如何相互作用而引发癌症的?在特定的社会和通信系统中，疾病和电脑病毒如何快速传播而导致流行?某些网络即便大部分节点失效，还能维持运行，原因何在?最近的研究开始找到这些问题的答案。

过去的几年中，不同领域的研究者发现，很多网络都是由少数一些具有众多连结的节点所支配的，包括万维网、细胞代谢系统，以及好莱坞的演员网络在内。

包含这种重要节点(或称集散节点)的网络，我们通常称之为"无尺度"(scalefree)网络。在无尺度网络中，有些集散节点甚至具有数不清的连结，而且不存在代表性的节点。

这种网络还具有可预期的行为特性：例如对意外故障具有惊人的承受力，但面对协同式攻击时则很脆弱。这些发现极大地改变了我们对复杂外部世界的认识。

集散节点的存在，让我们认识到了以前的网络理论尚未涉及的问题:各种复杂系统具有相同的严格结构，都受制于某些基本的法则，这些法则似乎可同等地适用于细胞、计算机、语言和社会。

更进一步，认识这些法则，会帮助我们解决一系列重要问题，包括开发更好的药物、防止黑客侵人互联网、阻止致命流行病的传播，等等。

概述/无尺度网络的特性很多复杂系统拥有共同的重要特性:大部分节点只有少数几个连结，而某些节点却拥有与其他节点的大量连结。

这些具有大量连结的节点称为“集散节点”，所拥有的连结可能高达数百、数千甚至数百万。由此看来，这一特性似乎能说明网络是无尺度的。无尺度网络具有某些重要特性。

例如它们都可以承受意外的故障，但面对协同式攻击却很脆弱。了解这些特性，可能导致许多领域出现新的应用。例如，电脑科学家可能据此设计出更有效的策略，以保护因特网免受电脑病毒的侵害。

无尺度网络在过去40多年里，科学家惯于将所有复杂网络看作是随机网络。这一思想源于两位匈牙利数学家的研究，他们是卓越的Erdos以及他的密切合作者Renyi。

1959年，为了描述通信和生命科学中的网络，Erdos和Renyi提出，通过在网络节点间随机地布置连结，就可以有效地模拟出这类系统。

这种方法及相关定理的简明扼要，导致了图论的复兴，数学界也因此出现了研究随机网络的新领域。

随机网络理论有一项重要预测：尽管连结是随机安置的，但由此形成的网络却是高度民主的，也就是说，绝大部分节点的连结数目会大致相同。实际上，随机网络中节点的分布方式将遵循钟形的泊松分布。

连接数目比平均数高许多或低许多的节点，都十分罕见。有时随机网络也称作指数网络，因为一个节点连接k个其他节点的概率，会随着k值的增大而呈指数递减。

因此当1998年，我们与美国圣母大学的郑夏雄及Albert合作，开展一个描绘万维网的项目时，我们满以为会发现一个随机网络。

原因如下：人们会根据自己的兴趣，来决定将网络文件连结到哪些网站，而个人兴趣是多种多样的，可选择的网页数量也极其庞大，因而最终的连结模式将呈现出相当随机的结果。然而，实测结果却推翻了这个预测。

在这个项目中，我们设计了一个软件，可从一个网页跳转到另一个，尽可能地收集网上的所有连结。虽然这个虚拟机器人仅仅探索了整个万维网的极小一部分，但它组合出来的图景。

却揭示了令人惊异的事实:基本上，万维网是由少数高连结性的页面串连起来的，80%以上页面的连结数不到4个。

然而只占节点总数不到万分之一的极少数节点，却有1000个以上的连结(一项后续的网络调查显示，有一份文件已经被超过200万的其他网页所连结!)。

我们在计算恰好拥有k个连结的万维网页面的数目时，发现网页的连结分布遵循所谓的"幂次定律":任何节点与其他k个节点相连结的概率，与l/k成正比。

对于流入的连结而言，n值接近于2，这也就是说，流入连接数只有某站点一半的站点，在网中的数量却有该站点的4倍之多。幂次定律和表征随机网络的钟形分布大相径庭。

具体来说，幂次定律不像钟形曲线那样具有一个峰值，而是由连续递减的函数来描述。如果用双对数坐标系来描述幂次定律，得到的是一条直线[见下图随机网络vs无尺度网络]。

与随机网络中连结的民主分布不同，幂次定律所描述的，是由少数集散节点(如Yahoo和Google)所主控的系统。随机网络中绝对不可能出现集散节点。

当我们开始描绘万维网时，原本预期节点会像人类的身高一样遵循钟形分布