如今,机器学习俨然成为AI技术的主流,而神经网络又是机器学习的主流,成为AI算法的必备技能,虽然神经网络并不代表机器学习全部,虽然还有线性回归、支持向量机、决策树、遗传算法、聚类算法等诸多方法。
神经网络是什么?虽然起源于对大脑神经系统生理机制的探索和模拟,然而研究者却并不醉心于生理学意义上人脑学习机制,而是借用有限的神经活动机制的认识,去探求AI面临的问题,构造出能解决某些实际问题的神经网络数学模型,再进一步运用特定的神经网络算法去实现。
神经网络就发展历史来看,可以分为四个阶段:启蒙期、低潮期、复兴期和兴盛期。
启蒙期:1890年代至1969年,标志性事件有:1890年代,威廉.詹姆斯第一描述了神经细胞的工作原理,1943年,麦卡洛克和皮特斯提出了M-P神经元模型,第一次用数学方式描述了神经元的工作原理,成为人工神经网络的起点,1949年,唐纳德·赫布探究了人类的学习规则,其学习假设是重复激活使相关链接权值得到加强。1957年罗森布拉特提出了感知器及其收敛定理。不久威德罗和特德·霍夫提出Widrow-Hoff神经网络算法,第一次给出了一个具体的学习算法LMS(Learning Management System),其实质是基于减少均方误差的线性学习准则。
低潮期:1969年,明斯基出版《感知器》,指出感知器存在致命缺陷,一是只能用于线性问题的求解,二是感知器理论上还不能证明其具备多层意义。明斯基的断定如一盆冷水,将人工神经网络浇入低潮,一直持续到80年代初,这一阶段虽然低潮,但并非空白,仍有科荷伦的自组织网络、格罗斯伯格的自适应共振理论和福岛邦彦的新认知机相继提出。
复兴期:从1982年霍普菲尔德提出hopfield神经网络模型,1986年罗森布拉特和辛顿提出BP神经网络,到1987年国际第一届神经网络会议在美召开,有上千人与会,标志着人工神经网络的全面复兴。
兴盛期:可以把第一届神经网络会议当做兴盛期的标志事件,但我更愿意将2006年辛顿和萨拉霍蒂诺发表的关于深度学习的论文作为标志事件,因为深度学习经过阿尔法狗战胜围棋冠军的推广,已经深入人心,随后出现的卷积神经网络(Convolutional Neural Networks, CNN)进一步将图像识别夯实为成熟技术。
神经网络一路高歌猛进,直到2022年11月OpenAI推出ChatGPT,神经网络随即进入生成式大模型时代。
模型上,神经网络虽然模型众多,但最具代表的有:BP神经网络、hopfield神经网络、卷积神经网络和大模型。
学习算法上,从前馈误差反向传播、反馈迭代算法、梯度推进算法、模拟退火算法到CD学习算法。
应用上,从大数据分析、图像压缩、图像识别到棋类游戏,神经网络和深度学习俨然成为人工智能的代名词。
人工神经网络的应用虽然无孔不入,但仍有局限性:
一是人工神经网络来自于脑神经科学,但仍然是基于有限认识上的行为模仿,其实质上是基于不同类型的有向图上的数学优化算法,并且不是精确的求解,而是通过一定的样本的反复学习训练,形成一定的权值记忆,结合神经网络模型的收敛性,以期达到一个近似统计学意义上的最佳求解,虽然很管用,但更像是一种数学游戏,鉴于脑科学认识的局限性,仍然谈不上是人类智慧复制。
二是人工神经网络仍然不存在一个放之四海皆准的通用模型,需要根据具体的问题,由专家运用智慧去构造,虽然研究阿尔法狗的戴密斯·哈萨比斯目前正在致力于通用神经网络模型的研究,但还没有公之于众的结果。
三是人工神经网络虽然具备多层,仍然是有限神经元的连接,仍不具备人脑亿万神经元的连接规模。
纵然如此,这有限的连接,就能制造出让人瞠目结舌的智能,一旦获得进一步的突破,会是怎样的一个局面,值得人们期待和担忧。