第十三章 神经网络
出脑中有些装置将信息按规定路线从一处传至另一处。不过这个观点尚有争议。
①该网络以一个早期网络为基础。那个网络被称为quot;自旋玻璃quot;,是物理学家受一种理论概念的启发而提出的。
①这对应于一个适定的数学函数(称为quot;能量函数quot;,来自自旋玻璃)的(局域)极小值。霍普菲尔德还给出了一个确定权重的简单规则以使网络的每个特定的活动模式对应于能量函数的一个极小值。
①对于霍普菲尔德网络而言,输出可视为网络存贮的记忆中与输出(似为quot;输入quot;之误——译者注)紧密相关的那些记忆的加权和。
①在1968年,克里斯托夫·朗格特-希金斯(Cop-;声音全息记录器quot;(;相关图quot;,并最终形成了一种特殊的神经网络形式。他的学生戴维·威尔肖在完成博士论文期间对其进行了详细的研究。
(2)他们和其他一些想法接近的理论家合作,在1981年完成了《联想记忆的并行模式》,由杰弗里·希尔顿(Geoffrey on)和吉姆·安德森编著。这本书的读者主要是神经网络方面的工作者,它的影响并不像后一本书那样广泛。
(1)PDP即平行分布式处理(Parallel Distributed rocessing)的缩写。
①更准确他说是误差的平方的平均值在下降,因此该规则有时又叫做最小均方(LMS)规则。
①29个quot;字母quot;各有一个相应的单元;这包括字母表中的26个字母,还有三个表示标点和边界。因而输入层需要29x7=203个单元。
②例如,因为辅音p和b发音时都是以拢起嘴唇开始的,所以都称作quot;唇止音quot;。
③中间层(隐层)最初有80个隐单元,后来改为120个,结果能完成得更好。机器总共需要调节大约2万个突触。权重可正可负。他们并没有构造一个真正的平行的网络来做这件事,而是在一台中型高速计算机上(一台VAX11//780FPA)模拟这个网络。
①计算机的工作通常不够快,不能实时地发音,因而需要先把输出录下来,再加速播放,这样人们才能听明白。
②塞吉诺斯基和罗森堡还表明,网络对于他们设置的连接上的随机损伤具有相当的抵抗力。在这种环境下它的行为是quot;故障弱化quot;。他们还试验以11个字母(而不是7个字母)为一组输入。这显著改善了网络的成绩。加上第二个隐单元层并不能改善它的成绩,但有助于网络更好地进行泛化。
①除了上面列出的以外,NEt talk还有许多简化。虽然作者们信奉分布式表达,在输入输出均有quot;祖母细胞quot;即,例如有一个单元代表quot;窗口中第三个位置上的字母aquot;。这样做是为了降低计算所需要的时间,是一种合理的简化形式。虽然数据顺序传入7个字母的方式在人工智能程序是完全可以接受的,却显得与生物事实相违背。输出的quot;胜者为王quot;这一步并不是由quot;单元quot;完成的,也不存在一组单元去表达预计输出与实际输出之间的差异(即教师信号)。这些运算都是由程序执行的。
②这种比较不太公平,因为神经网络的一个单元更好的考虑是等价于脑中一小群相神经元。因而更合适的数字大约是8万个神经元(相当于一平方毫米皮层下神经元的数目)。
①它是由斯蒂芬·格罗斯伯格、托伊沃·科霍宁等人发展的。
①我不打算讨论竞争网络的局限性。显然必须有足够多的隐单元来容纳网络试图从提供的输入中所