这本书名为《智能机器如何思考》(How Smart Machines Think),作者是肖恩·格里什,由张羿翻译,中信出版集团出版。全书通过多个章节,深入探讨了智能机器的工作原理,特别是深度神经网络在现代人工智能中的应用。
肖恩·格里什(Sean Gerrish):谷歌前工程专家、普林斯顿大学的机器学习博士、机器学习极客。他曾在高频交易机构泰莎科技担任工程师,并在谷歌担任机器学习和数据科学团队的工程专家。此外,肖恩·格里什还参与了多项学术研究,包括与David M. Blei合作的关于立法投票预测的研究。他们共同撰写了多篇论文,探讨如何通过文本预测立法投票行为以及如何调整议题模型来理解立法行为。
作者肖恩·格里什介绍了自己对人工智能和机器学习的好奇,以及写作本书的初衷,即分享他在研究中学到的知识,帮助读者理解智能机器的思考方式。
1.自动机的秘密:介绍了自动机的历史,从18世纪的机械自动机到现代的自动驾驶汽车,探讨了自动机的演变和基本原理。
2.自动驾驶汽车:挑战不可能:描述了自动驾驶汽车的技术挑战,包括路径规划、导航和感知环境等。
3保持在车道内行驶:自动驾驶汽车的感知:讨论了自动驾驶汽车如何使用机器学习来感知周围环境,包括避开障碍物和寻找道路边缘。
4在十字路口避让:自动驾驶汽车的大脑:深入探讨了自动驾驶汽车的决策过程,包括感知抽象、比赛策略和自动驾驶汽车的复杂系统。
5网飞和推荐引擎的挑战:分析了网飞如何使用机器学习来构建推荐引擎,以及背后的技术和挑战。
6团队融合:网飞奖的赢家:讲述了网飞奖的竞争过程,以及如何通过团队合作和模型混合赢得比赛。
7用奖励教导计算机:介绍了强化学习的概念,以及如何通过奖励来训练智能体。
8DeepMind使用强化学习来掌握这些雅达利游戏。使用这种技术的计算机程序通过得到偶然的奖励或惩罚来学习做事情。因此,要训练它们,我们只需要对它们进行编程,让它们寻求这些激励。然后,当它们做出我们希望它们做的事情时,我们就给予它们这些激励。就像当你给宠物狗食物的时候它会学会听从命令一样,通过强化学习来学习的程序(在人工智能界,指代这种程序的术语是智能体)也会学会听从你的命令。
如何用神经网络攻克雅达利游戏:探讨了深度神经网络如何被用来玩雅达利游戏,以及神经网络的结构和功能。
神经网络的一条重要定理——万能近似定理(universal approximation theorem)指出,如果使用像上图那样输入层和输出层之间夹着一个中间层的网络,那么我们就能够以任意精度给出近似于从输入到输出的任意函数。这是一条深刻的定理。它告诉我们,假设我们精心选择神经网络的权重,神经网络就可以在给定屏幕像素的情况下指出在雅达利游戏中可能采取的最佳动作。我们只需要创建一个结构正确的网络,然后找出这些权重的数值即可。这就给我们带来了神经网络的另一个主要优点:它们的权重很容易通过数据被学习。
9人工神经网络的世界观:讨论了神经网络如何模拟人类大脑的工作方式,以及在图像识别中的应用。
输入和输出之间有一个隐藏层的网络可以无限精确地表示任意函数,只要这个隐藏层足够大。找到这个函数只需要像调节旋钮一样调整网络的权重,直到我们无论给网络什么输入,它都能得出我们想要的输出。通过数据训练神经网络,它就可以自动拟合这些权重。
只有一个隐藏层的神经网络可以表示任意复杂的函数。从理论上讲,只有一个隐藏层的网络应该可以完成ImageNet挑战赛。只有一个隐藏层的问题在于,我们无法保证隐藏层无须变得非常庞大就能表示我们想要的函数。如果隐藏层变得过于庞大,也就是太宽,那么我们就需要学习太多的权重,如果没有大量的数据,很可能会过度拟合。另一方面,有理论证据表明,通过让隐藏层更深而不是更宽,我们可以更有效地表示复杂函数,也就是说,神经元要少得多,因此我们需要学习的权重也要少得多。为什么是深度而不是宽度让网络更有效?神经网络的研究人员认为,卷积层之所以强大,是因为它们使用分布式表示来处理图像。它们可以让你在不同的神经元之间重复使用组件。如果你的神经网络能够识别120种不同品种的狗,那么前几层就可以专注于识别我们用来描述狗的最基本的特征:它们可能拥有的不同类型的毛皮、耳朵以及颜色。然后,更深的层次可以专注于以各种方式组合这些不同的“基本元素”。正如你可以使用各种被明确地定义且可重复使用的面部和身体特征构建Mii一样,更高层次的卷积层也可以用早期卷积层中发现的特征构建物体,比如狗。这个过程可以在每一层重复,使每一层所能代表的物体呈指数级增长。可以想象,在网络能够识别狗和人的那一层后面的层次上,可能会出现可以解释整个场景的神经元。例如,你可能有识别休闲公园的神经元(利用网络中早期识别狗、人和游乐场设备的神经元),或者可能有识别城市环境的神经元(利用识别汽车、街道和商业店面的神经元)。
总结一下,深度神经网络之所以比宽度(即更宽的网络)更有效,主要基于以下几个原因:
参数效率:深度网络可以用更少的参数来表示复杂的函数。理论上,一个深度网络可以用相对较少的参数捕捉到数据中的复杂结构,而宽度网络(即每层神经元数量很多,但层数较少的网络)可能需要更多的参数来实现相同的功能。
层次化特征学习:深度网络通过逐层抽象能够学习到数据的层次化特征。较低层次的网络层可以捕捉到简单的特征(如边缘和纹理),而较高层次的层可以组合这些简单特征来识别更复杂的模式(如物体的形状)。这种层次化的特征提取是宽度网络难以实现的。
分布式表示:深度网络倾向于使用分布式表示,这意味着信息在多个神经元之间分布,而不是集中在少数几个神经元上。这种分布式表示可以更有效地编码信息,并且有助于提高网络的泛化能力。
缓解过拟合:深度网络通过增加层数而不是层宽可以减少过拟合的风险。这是因为增加层数允许网络学习更复杂的函数,而不会像增加层宽那样迅速增加模型的参数数量。
计算效率:虽然这听起来有些违反直觉,但深度网络在某些情况下可以比宽度网络更计算效率高。这是因为深度网络中的每个神经元可以重复使用其特征检测器(即卷积层中的过滤器),而宽度网络可能需要为每个输入样本独立计算大量的特征。
深入了解深度神经网络的内部秘密:分析了深度神经网络的内部工作机制,包括压缩函数、ReLU激活函数等。
能听、能说、能记忆的神经网络:探讨了神经网络在语音识别、语言理解和记忆方面的能力。
理解自然语言:讨论了自然语言处理的挑战,以及IBM的“沃森”如何攻克《危险边缘》比赛。
挖掘《危险边缘》的最佳答案:深入分析了“沃森”如何找到问题的最佳答案,包括问题分析、候选答案生成和证据检索。
用蛮力搜索找到好策略:讨论了蛮力搜索在策略游戏中的应用,以及“深蓝”如何使用搜索算法玩国际象棋。
职业水平的围棋:描述了计算机围棋的发展历程,以及AlphaGo如何使用蒙特卡洛树搜索和神经网络攻克围棋。
实时人工智能与《星际争霸》:探讨了实时战略游戏对人工智能的挑战,以及如何构建能够玩《星际争霸》的智能体。
50年后或更遥远的未来:预测了人工智能的未来发展,包括数据的普遍使用和技术创新。
首先,我们在未来创建的自动机将会始终遵循程序。因为它们会受到我们用来构建这些自动机的媒介以及我们生活的世界物理定律的约束。这些机器将会遵循越来越复杂的程序。辨别它们在做什么事情也会变得越来越困难,但是我们始终有可能将它们执行的每一个动作追溯到一组确定的指令。我个人的信念是,人类也是机器,我们是模拟机器,如果我们相信人类
可以思考,那么就没有什么能阻止我们有朝一日设计出可以思考的数字计算机。我们的机器总有一天会思考,这是大势所趋,它们会产生情感、观点和自我保护的愿望,这些总有一天会与我们人类发生冲突。
其次,我们会继续设计能够越来越准确地复制人类智力和行为的机器,直到它们的感知和推理能力与我们自己做这些事情的能力之间没有明显的区别,而且机器在很多方面将会比我们更优秀。
全书的核心论点是智能机器,特别是深度神经网络,正在改变我们对人工智能的理解,并在多个领域展现出超越人类的能力。作者通过历史案例、技术细节、实际应用和未来预测,围绕这一核心观点进行论证。他展示了从早期的机械自动机到现代的自动驾驶汽车、推荐系统、语音识别和围棋智能体等,智能机器是如何逐步发展并变得越来越复杂的。通过具体的例子和详细的技术分析,作者证明了智能机器的思考方式是基于统计和算法的,并且这些技术正在不断进步,预示着人工智能未来的发展潜力。
本资料可以在【AIGC部落】下载,扫描下方二维码即可加入【AIGC部落】: