quot;……我相信，对一个模型的最好的检验是它的设计者能否回答这些问题：现在你知道哪些原本不知道的东西？以及你如何证明它是否是对的？quot;

    ——詹姆斯·鲍尔（James M.Bower)

    神经网络是由具有各种相互联系的单元组成的集合。每个单元具有极为简化的神经元的特性。神经网络常常被用来模拟神经系统中某些部分的行为，生产有用的商业化装置以及检验脑是如何工作的一般理论。

    神经科学家们究竟为什么那么需要理论呢？如果他们能了解单个神经元的确切行为，他们就有可能预测出具有相互作用的神经元群体的特性。令人遗憾的是，事情并非如此轻而易举。事实上，单个神经元的行为通常远不那么简单，而且神经元几乎总是以一种复杂的方式连接在一起。此外，整个系统通常是高度非线性的。线性系统，就其最简单形式而言，当输入加倍时，它的输出也严格加倍——即输出与输入呈比例关系。①例如，在池塘的表面，当两股行进中的小湍流彼此相遇时，它们会彼此穿过而互不干扰。为了计算两股小水波联合产生的效果，人们只需把第一列波与第二列波的效果在空间和时间的每一点上相加即可。这样，每一列波都独立于另一列的行为。对于大振幅的波则通常不是这样。物理定律表明，大振幅情况下均衡性被打破。冲破一列波的过程是高度非线性的：一旦振幅超过某个阈值，波的行为完全以全新的方式出现。那不仅仅是quot;更多同样的东西quot;，而是某些新的特性。非线性行为在日常生活中很普遍，特别是在爱情和战争当中。正如歌中唱的：quot;吻她一次远不及吻她两次的一半那么美妙。quot;

    如果一个系统是非线性的，从数学上理解它通常比线性系统要困难得多。它的行为可能更为复杂。因此对相互作用的神经元群体进行预测变得十分困难，特别是最终的结果往往与直觉相反。

    高速数字计算机是近50年来最重要的技术发展之一。它时常被称作冯.诺依曼计算机，以纪念这位杰出的科学家、计算机的缔造者。由于计算机能像人脑一样对符号和数字进行操作，人们自然地想像脑是某种形式相当复杂的冯·诺依曼计算机。这种比较，如果陷入极端的话，将导致不切实际的理论。

    计算机是构建在固有的高速组件之上的。即便是个人计算机，其基本周期，或称时钟频率，也高于每秒1000万次操作。相反地，一个神经元的典型发放率仅仅在每秒100个脉冲的范围内。计算机要快上百万倍。而像克雷型机那样的高速超级计算机速度甚至更高。大致说来，计算机的操作是序列式的，即一条操作接着一条操作。与此相反，脑的工作方式则通常是大规模并行的，例如，从每只眼睛到达脑的轴突大约有100万个，它们全都同时工作。在系统中这种高度的并行情况几乎重复出现在每个阶段。这种连线方式在某种程度上弥补了神经元行为上的相对缓慢性。它也意味着即使失去少数分散的神经元也不大可能明显地改变脑的行为。用专业术语讲，脑被称作quot;故障弱化quot;（degrade gracefully)。而计算机则是脆弱的，哪怕是对它极小的损伤，或是程序中的一个小错误，也会引起大的灾难。计算机中出现错误则是灾难性的（degrade catastrophically)。

    计算机在工作中是高度稳定的。因为其单个组件是很可靠的，当给定相同的输入时通常产生完全同样的输出。反之，单个神经元则具有更多的变化。它们受可以调节其行为的信号所支配，有些特性边quot;计算quot;边改变。

    一个典型的神经元可能具有来自各处的上百乃至数万个输入，其轴突又有大量投射。而计算机的一个基本