第十三章 神经网络
被称作quot;神经网络quot;。
这个成就非常令人鼓舞,以致它使许多人受到误导,相信脑就是这样工作的。或许它对现代计算机的设计有所帮助,但它的最引人注目的结论就脑而言则是极端错误的。
下一个重要的进展是弗兰克·罗森布拉特(Frank Rosenblatt)发明的一种非常简单的单层装置,他称之为感知机(Perceptron)。意义在于,虽然它的连接最初是随机的,它能使用一种简单而明确的规则改变这些连接,因而可以教会它执行某些简单的任务,如识别固定位置的印刷字母。感知机的工作方式是,它对任务只有两种反应:正确或是错误。你只需告诉它它所作出的(暂时的)回答是否正确。然后它根据一种感知机学习规则来改变其连接。罗森布拉特证明,对于某一类简单的问题——quot;线性可分quot;的问题——感知机通过有限次训练就能学会正确的行为。
由于这个结果在数学上很优美,从而吸引了众人的注目。只可惜它时运不济,它的影响很快就消退了。马文·明斯基(Mar Vin Minsky)和西摩·佩伯特(Segmour Papert)证明感知机的结构及学习规则无法执行quot;异或问题quot;(如,判断这是苹果还是桔子,但不是二者皆是),因而也不可能学会它。他们写了一本书,通篇详述了感知机的局限性。这在许多年内扼杀了人们对感知机的兴趣(明斯基后来承认做得过分了)。此问大部分工作将注意力转向人工智能方法。①
用简单单元构建一个多层网络,使之完成简单的单层网络所无法完成的异或问题(或类似任务),这是可能的。这种网络必定具有许多不同层次上的连接,问题在于,对哪些最初是随机的连接进行修改才能使网络完成所要求的操作。如果明斯基和佩伯特为这个问题提供了解答,而不是把感知机打入死路的话,他们的贡献会更大些。
下一个引起广泛注意的发展来自约翰·霍普菲尔德(John hop-field),一位加利福尼亚州理工学院的物理学家,后来成为分子生物学家和脑理论家。1982年他提出了一种网络,现在被称为霍普菲尔德网络(见图53)。这是一个具有自反馈的简单网络。每个单元只能有两种输出:一1(表示抑制)或十1(表示兴奋)。但每个单元具有多个输入。每个连接均被指派一个特定的强度。在每个时刻单元把来自它的全部连接的效果(2)总和起来。如果这个总和大于0则置输出状态为十1(平均而言,当单元兴奋性输入大于抑制性输人时,则输出为正),否则就输出一1。有些时候这意味着一个单元的输出会因为来自其他单元的输入发生了改变而改变。
尽管如此,仍有不少理论工作者默默无闻地继续工作。这其中包括斯蒂芬.格罗斯伯格(stepeuvo Kohonen)和戴维·威尔肖(Devid illshaw)。(2)每个输入对单元的影响是将当前的输入信号(+1或-1)与其相应的权值相乘而得到的。(如果当前信号是-1,权重是+2,则影响为-2。)
计算将被一遍遍地反复进行,直到所有单元的输出都稳定为止。①在霍普菲尔德网络中,所有单元的状态并不是同时改变的,而是按随机次序一个接一个进行,霍普菲尔德从理论上证明了,给定一组权重(连接强度)以及任何输入,网络将不会无限制地处于漫游状态,也不会进入振荡,而是迅速达到一个稳态。①
霍普菲尔德的论证令人信服,表达也清晰有力。他的网络对数学家和物理学家有巨大的吸引力,他们认为终于找到了一种他们可以涉足脑研究的方法(正如我们在加利福尼亚州所说的)。虽然这个网络在许多细节上严重违背生物学,但他们并不对此感到忧虑。