为纪念我们 150 周年，我们将回顾那些有助于定义科学进步、理解和创新的《Popular Science》故事（包括成功和失败），并增加一些现代背景。探索完整的《档案摘录》系列，并在此处查看我们所有的周年纪念报道。
社会心理学家 弗兰克·罗森布拉特（Frank Rosenblatt） 对大脑的运作机制充满热情，以至于他构建了一个模仿人类大脑神经网络的计算机模型，并训练它识别简单的模式。他称这个基于 IBM 704 的模型为感知器（Perceptron）。《纽约时报》的一篇标题称其为“能阅读并变得更聪明的计算机的雏形”。《科普杂志》则称感知器为“学习的机器”。当时，罗森布拉特声称“有可能制造出能够在大规模生产线上自我复制，并且能够意识到自身存在的‘大脑’”。那是1958年。
许多人抨击罗森布拉特的人工智能方法在计算上不切实际且过于简化。图灵奖得主马文·明斯基（Marvin Minsky）在1969年撰写的一本批判性著作标志着一个被称为“人工智能寒冬”时期的开始，这段时期内，这类研究获得的资金非常少——尽管在20世纪80年代初期有过短暂的复兴。
在1989年《科普杂志》的一篇文章《类脑计算机》中，科学与医学作家娜奥米·弗罗因德利希（Naomi Freundlich）是最早预测到这场持续到90年代的漫长寒冬即将解冻的记者之一。甚至在被认为是现代深度学习技术创始人之一的杰弗里·辛顿（Geoffrey Hinton）发表其于1992年在《科学美国人》上的开创性解释性文章之前，弗罗因德利希的报道就对未来二十年人工智能的发展提供了最全面的洞察之一。
“更复杂神经网络的复兴，”弗罗因德利希写道，“主要归因于低成本内存的可用性、更强大的计算机能力以及更复杂的学习定律。”当然，1989年缺失的要素是数据——当今深度学习神经网络用于训练自身的海量标记和未标记信息。互联网的快速扩张，始于20世纪90年代末，使得大数据成为可能，并结合弗罗因德利希提到的其他要素，在罗森布拉特的感知器首次亮相近半个世纪后，释放了人工智能的力量。
“类脑计算机”（作者：Naomi J. Freundlich，1989年2月）
我走进哥伦比亚大学半圆形的讲堂，在拥挤的阶梯式看台上寻找座位。兴奋的嗡嗡声逐渐减弱，只剩下几声咳嗽和纸张的沙沙声，一位戴着圆形金属边框眼镜的年轻人，胳膊下夹着一个便携式立体声磁带播放器，走向讲台。他穿着一件粗花呢夹克和灯芯绒裤子，看起来像一个即将播放他最喜欢的摇滚乐的常春藤盟校学生。但出乎意料的是，当他按下“开”按钮时，一段含糊不清的婴儿语——更确切地说，是婴儿式的计算机语言——倾泻而出。起初难以理解，只是一连串的声音，但这个孩子气的机器人声音一遍又一遍地重复这段话，直到它变成了十个不同的词。
“这是我录制的一段计算机在一夜之间学会了发音英文文本的声音，”约翰霍普金斯大学的生物物理学家特伦斯·塞伊诺夫斯基（Terrence Sejnowski）说道。欢欣鼓舞的人群爆发出热烈的掌声。塞伊诺夫斯基刚刚展示了一台“学习”中的计算机，这是第一批激进的新型人工智能机器之一。
这些被称为神经网络的计算机，松散地模仿着大脑中相互连接的神经元或神经细胞网络。它们代表了科学家们看待人工智能方式的巨大转变——一种更字面地解释大脑功能的方式。原因在于：尽管当今的某些计算机是极其强大的处理器，能够以惊人的速度进行数字运算，但它们在一些孩子轻易就能完成的任务上却显得无能为力——比如识别面孔、学会说话和行走，或者阅读印刷文本。据一位专家称，一个人视觉系统的图像处理能力，比世界上所有超级计算机加起来还要强大。这些类型的任务需要海量的规则和指令，包含所有可能的变量。而神经网络则不需要这种编程，相反，它们就像人类一样，似乎通过经验学习。
对于军队来说，这意味着目标识别系统、自主导航坦克，甚至是能够追踪目标的智能导弹。对于商业界，神经网络有望带来手写和面部识别系统，以及计算机贷款专员和债券交易员。对于制造业，质量控制视觉系统和机器人控制只是两个目标。
对神经网络的兴趣呈指数级增长。最近在圣迭戈举行的一次会议吸引了2000名与会者。超过100家公司正在研究神经网络，其中包括几家已经开始销售神经网络软件和外围设备的初创公司。一些计算机巨头，如IBM、AT&T、德州仪器、日本电气公司（Nippon Electric Co.）和富士通（Fujitsu），也在全力进行相关研究。国防高级研究计划局（DARPA）去年发布的一项研究建议，在八年内为神经网络提供4亿美元的资金。这将是该机构有史以来最大的项目之一。
自计算机科学的早期以来，大脑一直是新兴机器的模型。但与大脑相比，当今的计算机不过是些华而不实的计算器。原因在于：计算机只有一个处理器，按照编程指令运行。每个任务被分解成许多微小的步骤，快速地逐一执行。这种流水线式的方法使得计算机容易受到加州高速公路上常见情况的影响：一辆抛锚的汽车——一个无法解决的步骤——可能导致交通无限期地拥堵。相比之下，大脑由数十亿个神经元或神经细胞组成，每个神经元都连接着成千上万的其他神经元。一项特定的任务会激活大片区域的神经元；它们之间的通信通路会带来解决方案。
对神经网络的兴奋并非新鲜事，所谓的“大脑制造者”也并非如此。沃伦·S·麦卡洛克（Warren S. McCulloch），伊利诺伊大学和芝加哥大学的精神科医生，以及他的学生沃尔特·H·皮茨（Walter H. Pitts）在20世纪40年代初开始将神经元视为逻辑设备进行研究。他们发表了一篇文章，阐述了神经元如何通过电化学进行通信：一个神经元接收来自周围细胞的输入。如果输入总和为正且超过某个预设阈值，该神经元就会激活。举例来说，假设一个神经元的阈值为二，并且有两个连接A和B。只有当A和B都激活时，该神经元才会激活。这被称为逻辑“与”操作。另一个名为“或”的逻辑操作可以通过将阈值设置为一来实现：如果A或B中的任何一个激活，神经元就会激活。如果A和B都激活，神经元也会激活。
1958年，康奈尔大学的心理学家弗兰克·罗森布拉特（Frank Rosenblatt）使用了数百个这样的“人工神经元”来开发一个名为感知器的双层模式学习网络。罗森布拉特系统的关键在于它的学习能力。在大脑中，学习主要通过神经元之间连接的修改发生。简单来说，如果两个神经元同时激活并且它们之间有连接，那么它们之间的突触（连接）就会增强。这种学习规则被称为赫布定律（Hebb’s rule），是感知器学习的基础。使用赫布定律，该网络通过“经验学习”而表现出来，因为经常使用的连接会得到加强。突触的电子模拟是电阻器，在感知器中，电阻器控制着电流在晶体管电路之间的流动量。
当时还构建了其他简单的网络。斯坦福大学的电气工程师伯纳德·维德罗（Bernard Widrow）开发了一种名为Adaline（自适应线性神经元）的机器，它能够翻译语音、玩二十一点，并且预测旧金山地区的天气，其准确性超过任何气象预报员。神经网络领域一直很活跃，直到1969年。
当年，麻省理工学院的马文·明斯基（Marvin Minsky）和西摩尔·帕普特（Seymour Papert）——规则型人工智能领域的重要人物——合著了《感知器》一书，抨击感知器设计“过于简单，不值一提”。主要问题是：感知器是一个两层系统——输入直接导向输出——并且学习能力有限。“罗森布拉特等人基本想用一种条件反射来解决复杂问题，”塞伊诺夫斯基说。
另一个问题是感知器能够执行的逻辑操作有限，因此它们只能解决明确定义的问题——例如，区分字母 L 和 T。原因在于：感知器无法处理被称为“异或”的第三种逻辑操作。这种操作要求逻辑单元在 A 或 B 激活时激活，但当两者都激活时则不激活。
据加州山景城一家神经网络咨询公司（Neural-network consultant）的汤姆·施瓦茨（Tom Schwartz）称，技术限制了感知器的成功。“多层感知器的想法是罗森布拉特提出的，但如果没有好的多层学习定律，你对神经网络能做什么就很有限了。”明斯基的书，加上感知器未能达到开发者期望的失败，扼杀了神经网络的繁荣。计算机科学家们转而继续研究传统人工智能，如专家系统。
地下连接
在有些人称之为明斯基《感知器》出版与神经网络近期复兴之间15年的“黑暗时代”，一些顽固的“联结主义者”——神经网络的信徒——仍然坚持了下来。其中一位是物理学家约翰·J·霍普菲尔德（John J. Hopfield），他同时任职于加州理工学院和AT&T贝尔实验室。他于1982年发表的一篇论文，从数学上描述了神经元如何协同工作来处理和存储信息，并将神经网络中的问题解决方案比作物理学中达到最低能量状态。例如，霍普菲尔德演示了一个网络如何解决“旅行商问题”——在一组城市中找到最短路线，这个问题长期以来让传统计算机望而却步。这篇论文被认为是重新激发神经网络领域的动力。“在1982年发表那篇论文需要很大的勇气，”施瓦茨说。“霍普菲尔德应该被誉为那个让神经网络起死回生的人。”
更复杂的神经网络的复兴，主要归因于低成本内存的可用性、更强大的计算机能力以及更复杂的学习定律。其中最重要的学习定律是某种称为反向传播（back-propagation）的东西，我在哥伦比亚大学听到的塞伊诺夫斯基的NetTalk演示就戏剧性地说明了这一点。
在NetTalk和后续的神经网络中，在双层网络的基础上增加了一个称为隐藏层的第三层。这个隐藏层类似于大脑的中间神经元，它们勾画出感觉神经元和运动神经元之间的通路。NetTalk是一个神经网络模拟，包含300个处理单元（代表神经元）和超过10,000个连接，排列成三层。在我听到的演示中，初始训练输入是一年级学生对话的500字文本。输出层由编码英语中55种可能音素（离散的语音声音）的单元组成。输出单元可以驱动数字语音合成器，从音素序列产生声音。当NetTalk看到字母N（例如在单词“can”中）时，它会随机（且错误地）激活一组隐藏层单元，这些单元发出“ah”的信号。然后将此输出与模型进行比较：一个正确的字母到音素的翻译，以数学方式计算误差。这个学习规则，实际上是一个数学公式，通过“分配责任”来纠正这个错误——即减弱与输出“ah”对应的隐藏层单元之间的连接强度。“在NetTalk开始时，所有的连接强度都是随机的，所以网络产生的输出也是随机的，”塞伊诺夫斯基说。“随着我们改变权重以最小化误差，网络会很快开始捕捉到规律。它区分辅音和元音，并根据个别字母的特定发音方式做出更精细的区分。”
在经过1000个单词的训练后，NetTalk在一周内就开发出了一个20,000个单词的词典。“关键在于，该网络不仅能够记住训练词汇，而且还实现了泛化。它能够预测它以前从未见过的新词，”塞伊诺夫斯基说。“这就像人类阅读《Jabberwocky》时会产生的泛化能力。”
泛化是神经网络的一个重要目标。为了说明这一点，霍普菲尔德描述了他两年前在新泽西州蒙茅斯堡（Fort Monmouth）研究的一个弹药识别问题。“假设一个营需要在一个未爆炸的弹药被解除前对其进行识别，”他说。“不幸的是，有50,000种不同的硬件类型，它可能是其中任何一种。传统计算机将使用一种树状决策过程进行识别，”霍普菲尔德说。“第一个决策可以基于弹药的长度。”但有一个问题：“事实证明，弹药的头部埋在沙子里，显然士兵无法出去测量它的长度。尽管您拥有大量信息，但总会有一些信息是您无法获得的。因此，您无法通过树状结构进行识别。”
霍普菲尔德认为，从神经网络的角度来看，这类问题是可以解决的。“使用神经网络，你可能知道弹药的30个信息中的10个，就能得到答案。”
除了泛化之外，神经网络的另一个重要特征是它们“优雅地退化”。人脑处于持续退化状态——一夜饮酒会消耗数千个脑细胞。但是，由于大片区域的神经元参与每项任务，丢失几个神经元并不会被注意到。神经网络也是如此。斯坦福大学的心理学家兼神经网络研究员大卫·鲁梅尔哈特（David Rumelhart）解释说：“网络的行为不是由某个局部的小部分决定的，而是由网络中所有单元的相互作用决定的。如果你删除其中一个单元，影响不会太大。删除传统计算机的某个组件通常会使计算停止。”
模拟网络
据施瓦茨称，尽管神经网络可以由导线和晶体管构建，“但人们谈论的99%的神经网络实际上是运行在传统处理器上的神经网络软件模拟。”模拟神经网络意味着对节点（处理器）及其分配的权重（自适应系数）进行数学定义。“每个元素的处理由一个数学公式决定，该公式将元素的输出信号定义为刚刚到达的输入信号以及本地内存中存在的自适应系数的函数，”Hecht-Nielsen Neurocomputer Corp. 的总裁罗伯特·赫奇特-尼尔森（Robert Hecht-Nielsen）解释道。
一些公司，例如位于圣迭戈的Hecht-Nielsen Neurocomputer，加州圣何塞的Synaptics Inc.，以及最近的日本电气公司（Nippon Electric Co.），正在销售可连接到传统计算机的专用电路板。神经网络在电路板上进行模拟，然后通过软件集成到IBM PC类型的机器上。
其他公司则提供商业化的神经网络软件模拟。其中最成功的一家是位于罗德岛普罗维登斯的 Nestor, Inc. 公司，该公司开发了一款允许用户在桌面计算机上模拟电路的软件包。迄今为止，已经开发了几种针对特定工作的神经网络。其中包括：一个签名验证系统；一个可以读取支票上笔迹数字的系统；一个帮助筛选抵押贷款的系统；一个识别异常心率的网络；以及另一个能够识别11种不同飞机的网络，无论观测角度如何。
包括Bendix Aerospace、TRW和宾夕法尼亚大学在内的几家军事承包商也在推进神经网络在信号处理方面的应用——例如，训练网络通过雷达或声纳模式识别敌方车辆。
然而，仍有一些团队专注于神经网络芯片。在贝尔实验室，由固态物理学家拉里·杰克尔（Larry Jackel）领导的一个团队构建了一个实验性的神经网络芯片，该芯片拥有75,000个晶体管和一个由电阻器网络连接的54个简单处理器阵列。该芯片的大小大约有一个十美分硬币。贝尔实验室还开发了一种包含14,400个由光敏非晶硅制成的人工神经元的芯片，这些神经元作为薄膜沉积在玻璃上。当幻灯片在薄膜上重复投影几次后，图像就会存储在网络中。然后，如果网络被显示出图像的一小部分，它就能重建原始图像。
最后，在Synaptics公司，加州理工学院的卡弗·米德（Carver Mead）正在设计模仿人类视网膜和耳蜗的模拟芯片。
据宾夕法尼亚州匹兹堡卡内基梅隆大学的高级研究科学家斯科特·E·法尔曼（Scott E. Fahlman）称，“制造一个仅用于单个网络的芯片可能需要两到三年。”问题在于，绘制所有相互连接的线路需要先进的技术。在数字机器上模拟网络允许研究人员在承诺硬件之前搜索最佳架构。
廉价模仿
赫奇特-尼尔森说：“至少有五十种不同类型的网络正在研究中或正在开发中以用于应用。”“主要区别在于实现的学习定律和连接的拓扑结构（详细映射）。”大多数这些网络被称为“前馈”网络——信息在前馈网络中从输入传递到隐藏单元，最后到输出。
约翰·霍普菲尔德不确定这是神经网络的最佳架构。“在神经生物学中，存在大量的反馈。你有穿过各层或层内相互连接的连接。从计算的角度来看，这使得系统更加强大。”
这种批评引发了一个问题：神经网络需要多大程度上模拟大脑。法尔曼说，神经网络研究人员和神经生物学家“松散耦合”。“神经生物学家可以告诉我，需要考虑的元素的正确数量是数百亿。他们可以告诉我，正确的连接方式是每个神经元有一千到一万个连接。而且他们告诉我，似乎没有太多信息通过神经元向后流动，”他说。但他补充说，不幸的是，“他们无法提供关于神经元突触中具体发生了什么的信息。”
根据DARPA的研究，神经网络距离实现人脑的连接性还有很长的路要走；在这个阶段，一只蟑螂看起来都像个天才。DARPA预测，五年内，神经网络的电子“神经元”的复杂性可能接近蜜蜂的神经系统。这种复杂性将能够实现隐形飞机探测、战场侦察以及使用多种传感器类型进行目标识别等应用。“与智能武器相比，蜜蜂非常聪明，”该机构的研究副主任克雷格·I·菲尔兹（Craig I. Fields）评论道。“蜜蜂可以规避。蜜蜂可以选择路线和目标。”
部分文本经过编辑，以符合当代标准和风格。
