元数据

- 书名: 智慧的疆界:从图灵机到人工智能
- 作者: 周志明
- 简介: 这是一部对人工智能充满敬畏之心的匠心之作,《深入理解Java虚拟机》作者耗时一年完成,它将带你从奠基人物、历史事件、学术理论、研究成果、技术应用等5个维度全面读懂人工智能。本书以时间为主线,用专业的知识、通俗的语言、巧妙的内容组织方式,详细讲解了人工智能这个学科的全貌、能解决什么问题、面临怎样的困难、尝试过哪些努力、取得过多少成绩、未来将向何方发展,尽可能消除人工智能的神秘感,把阳春白雪的人工智能从科学的殿堂推向公众面前。
- 出版时间: 2018年10月
- ISBN: 9787111610496
- 分类: 计算机-人工智能
- 出版社: 机械工业出版社
- PC地址:https://weread.qq.com/web/reader/b9732f007168ac3cb976eca
高亮划线
前言
📌 而大家提起拥有智能的机器,往往还怀有一种科幻小说式的神秘与敬畏,一边忍不住对未知的憧憬,想要从钥匙孔中窥探潘多拉盒子里面藏着怎样的秘密,一边又担心打开了这个盒子,会放出人类无法掌控的可怕力量。 ⏱ 2026-08-31 07:06:13 ^23637052-3-633-729
📌 贡献毕生精力和智慧的开拓者们。从图灵、香农、冯·诺依曼、维纳,到纽厄尔、司马贺、麦卡锡、明斯基、皮茨、麦卡洛克,再到辛顿、燕乐存、奥本希、乔丹、尼尔森等,一位位天才学者不懈奋斗,为人类掌握“智能”这个科学的最终领域拓土开疆。 ⏱ 2026-08-31 07:08:29 ^23637052-3-1833-1945
📌 目前,学术界研究人工智能的方法主要有三个学派,分别是符号主义、连接主义和行为主义,这三个学派分别从逻辑、仿生和行为三个角度来研究智能,既有自顶向下从智能的本质出发,从一般到特殊,通过逻辑运算推导智能行为;也有从行为出发,自底向上把智能当作黑箱 ⏱ 2026-06-10 22:48:06 ^23637052-3-5299-5420
第一部分 以智慧创造智慧
📌 We can only see a short distance ahead, but we can see plenty there that needs to be done. ⏱ 2026-09-01 04:49:27 ^23637052-5-507-597
1.2 引言:信息革命
📌 在两年之后(1948年),诺伯特·维纳(Norbert Wiener,1896—1964)和克劳德·香农(Claude Shannon,1916—2001)分别发表了两部极具开创性的著作,创立了“控制论[插图]”和“信息论[插图]”,再结合之前路德维希·冯·贝塔朗菲(Ludwig Von Bertalanffy,1901—1972)在1945年发表的对“系统论[插图]”的总结性著作,整个信息科学仿佛被上帝的手推动着,后世称之为“信息学三论”的三门支柱性理论几乎于同一时刻问世, ⏱ 2026-06-12 07:27:21 ^23637052-7-1193-1724
1.3 图灵机,计算的基石
📌 他们两位经过在密码学上“矛和盾”的攻防探讨,很快让图灵和香农成为了惺惺相惜的好友 ⏱ 2026-09-03 06:36:40 ^23637052-8-1867-1907
📌 此前,“计算”能力是被视为与“思考”相类似的人类抽象能力,大家一时间很难接受“计算”可以被如此简单的模型所概括。 ⏱ 2026-09-03 06:52:12 ^23637052-8-5187-5243
📌 当一个新的计算模型出现时,人们会判定它是否能解决所有在算法上可计算的问题,如果是,它就被称为是图灵等价或者图灵完备的 ⏱ 2026-09-03 06:54:02 ^23637052-8-5544-5602
1.4 人工智能的萌芽
📌 多元智能 ⏱ 2026-09-05 05:39:55 ^23637052-9-986-990
📌 不!我对如何建造一颗无所不能的大脑完全不感兴趣,我只要一颗并不太聪明的大脑,和美国电报电话公司董事长的脑袋那样差不多就行了 ⏱ 2026-09-05 05:41:11 ^23637052-9-1328-1389
1.5 图灵测试:何谓智能?
📌 直到1950年,图灵在《心灵》(“Mind”)杂志上发表了另一篇划时代的论文:《计算机器和智能》(Computing Machinery and Intelligence) ⏱ 2026-09-06 06:08:02 ^23637052-10-2391-2477
📌 人类基于机器通过这种测试的困难度,反而创造出图灵测试最广泛的应用场景,这种应用在网络上随处可见—图形验证码。 ⏱ 2026-09-06 06:13:26 ^23637052-10-4183-4237
📌 验证码的英文单词“Captchac”其实就是“通过图灵测试来完全自动地分辨出计算机和人类”这句话的首字母缩写(Completely Automated Public Turing test to tell Computers and Humans Apart) ⏱ 2026-09-06 06:15:15 ^23637052-10-4237-4367
1.7 机器能思考吗?
📌 论文中,图灵重点论证的建造“学习机器”(Learning Machines)[插图]的可行性,更具体地说,是论证机器依靠学习进化而最终通过图灵测试的可能性。 ⏱ 2026-09-09 04:04:43 ^23637052-12-725-919
📌 “如果一个形式系统是不含矛盾的,那就不可能在该系统内部证明系统的不矛盾性。” ⏱ 2026-09-10 05:42:15 ^23637052-12-2301-2339
📌 哥德尔不完备定理 ⏱ 2026-09-10 05:42:32 ^23637052-12-2378-2386
📌 人类的智能是否能够被某种模型所抽象?如果是,那必将存在着人类智能绝对无法解决的问题,如果不是,那人类就很难制造出能够拥有人类思维的机械智能 ⏱ 2026-09-10 05:41:20 ^23637052-12-3580-3649
1.8 机器拟人心
📌 知道了人类大脑的思维是由脑皮层中大量神经元互相连接实现的。虽然从神经元具体产生智能和思 ⏱ 2026-06-13 21:22:35 ^23637052-13-499-542
📌 一直这样下去,我们会看见一个人类科学所无法解释的“灵魂”存在?还是会发现洋葱皮最后一层里面什么都没有了,所有大脑创造智能的过程都能够用物理和化学现象来解释? ⏱ 2026-06-13 21:22:53 ^23637052-13-632-710
1.9 机器拟人脑
📌 在我们面前有两条通向智能的路径,一条是模拟人脑的结构,一条是模拟人类心智,但我相信这两条路最终是殊途同归的。” ⏱ 2026-06-13 21:26:06 ^23637052-14-658-713
📌 从历史发展上看,皮茨的总结非常有预见性,至今六十多年来,人工智能的探索历程就是“结构派”和“心智派”[插图]交替提出新理论和新发现,交替占据主流地位的发展史。 ⏱ 2026-06-13 21:26:19 ^23637052-14-752-937
📌 塞缪尔还创造了“机器学习”这一概念,并将其定义为:“在没有明确指令的情况下赋予计算机能力的一个研究领域”。 ⏱ 2026-09-12 05:53:31 ^23637052-14-2191-2244
📌 图灵已经找到了计算能力的基石,但寻找智慧的基石这项工作,仍然没有见到成功的曙光,世界在等待着下一个“图灵”的出现。 ⏱ 2026-09-12 05:57:03 ^23637052-14-3470-3527
1.10 机器拟人身
📌 认为智能应该是由具体行为表现出来的智能,智能、认知都与具体的身体、环境密切相关,它们之间存在内在的和本质的关联,智能和认知两者必须以一个在特定环境中具体的身体结构和身体活动为基础。 ⏱ 2026-06-13 21:28:13 ^23637052-15-470-560
📌 智能是基于身体和涉及身体的,智能始终是具体身体的智能,而不能仅仅存在于脑海之中。 ⏱ 2026-06-12 22:49:01 ^23637052-15-560-600
📌 对于非具身智能的研究,无论是“心智派”还是“结构派”,都是从人类大脑和心智开始的,而对具身智能的研究,并没有把目光聚焦在具有高级智能的人类身上,而是首先关注比人类低级得多的生物,譬如昆虫。 ⏱ 2026-06-12 22:49:32 ^23637052-15-906-1000
📌 如果说心智派在研究模拟智能的软件,结构派在研究模拟智能的硬件,那行动派就是在模拟智能生物的身体了。 ⏱ 2026-06-12 22:50:03 ^23637052-15-1230-1279
📌 在人工智能真正成为一门学科之后,我们所说的心智派、结构派和行动派,也有了自己严谨的理论和学说,分别发展成人工智能中的三大经典学派:符号主义学派、连接主义学派和行为主义学派。 ⏱ 2026-09-13 05:22:08 ^23637052-15-1408-1494
1.11 本章小结
📌 图灵奖现在已成为像自然和人文科学界的诺贝尔奖、数学界的菲尔兹和沃尔夫奖一样的计算机科学、信息科学和人工智能科学界的最高荣誉和奖项。 ⏱ 2026-09-13 05:25:30 ^23637052-16-1254-1319
2.1 概述
📌 现在一说起人工智能的起源,公认是1956年的达特茅斯会议, ⏱ 2026-06-12 22:52:16 ^23637052-18-427-456
2.2 引言:不经意间改变世界
📌 马文·明斯基(Marvin Minsky,1927—2016) ⏱ 2026-09-13 14:00:36 ^23637052-19-654-685
2.3 达特茅斯会议
📌 由于这些参会者的努力,使人工智能获得了科学界的承认,成为一个独立的、充满活力而且最终得以影响人类发展进程的新兴科学领域,也正是因为这群参会者,才令达特茅斯会议被誉为人工智能的开端,而并不是该会议本身有多少值得纪念的开创性。 ⏱ 2026-06-12 22:57:34 ^23637052-20-3237-3348
2.4 有学术就有江湖
📌 无线电工程师协会(Institute of Radio Engineer, IRE,后来和美国电气工程师协会合并成了今天著名的电气与电子工程师协会IEEE) ⏱ 2026-09-13 14:00:35 ^23637052-21-2369-2447
2.6 人工智能早期成果
📌 “As soon as it works, no one calls it AI anymore。” ⏱ 2026-09-15 07:07:55 ^23637052-23-9706-9756
3.1 概述
📌 符号主义学派的思想和观点直接继承自图灵,提倡直接从功能的角度来理解智能,简而言之就是把智能视为一个黑盒,只关心这个黑盒的输入和输出,而不关心黑盒的内部结构 ⏱ 2026-06-14 08:46:28 ^23637052-26-1143-1220
📌 ,符号主义学派利用“符号”(Symbolic)来抽象表示现实世界,利用逻辑推理和搜索来替代人类大脑的思考、认知过程,而不去关注现实中大脑的神经网络结构,也不关注大脑是不是通过逻辑运算来完成思考和认知的。 ⏱ 2026-06-14 08:46:46 ^23637052-26-1227-1328
3.2 引言:五分钟逻辑学
📌 “词项逻辑”(Lexical Logic) ⏱ 2026-09-17 15:55:38 ^23637052-27-2277-2324
📌 谓词逻辑(Predicate Logic) ⏱ 2026-09-17 15:54:47 ^23637052-27-3169-3197
📌 1847年,英国数学家乔治·布尔(George Boole,1815—1864) ⏱ 2026-09-17 16:00:33 ^23637052-27-5773-5813
📌 利用符号来表示逻辑中的各种概念,实现了完全通过用抽象代数来记述逻辑推理过程,这种方法现称“布尔代数”或“布尔逻辑” ⏱ 2026-09-17 16:00:39 ^23637052-27-5885-5942
3.3 描述已知,推理未知
📌 对于特定问题的解决方法是“知识”,对于普适智能行为则需要“常识”才行 ⏱ 2026-09-19 08:36:22 ^23637052-28-5764-5798
📌 许多编程语言的书籍上还会讲到“LISP也是最适合人工智能的编程语言” ⏱ 2026-09-19 08:43:54 ^23637052-28-13647-13681
3.4 知识!知识!知识!
📌 基于逻辑推理来寻找智能的研究方法,在人机对弈、问题求解、机器定理证明这类信息完全的而且问题空间是封闭的领域中取得了一定的成功。 ⏱ 2026-09-20 06:41:16 ^23637052-29-484-547
📌 语义网络是罗斯·奎利恩(Ross Quillian)在1966年提出的一种心理学模型,最初是用来描述概念之间联系的, ⏱ 2026-09-20 06:47:14 ^23637052-29-1751-1809
📌 语义网络是一种使用有向图来表示知识的方法,图由节点和连接弧组成,节点用于表示实体、概念和事实,连接弧用于表示节点之间的关系。 ⏱ 2026-09-20 06:47:02 ^23637052-29-1858-1920
3.5 从演绎到归纳
📌 对比现在最热门的基于神经网络的机器学习,以决策树学习为代表的基于符号的机器学习有一个很好的性质:它生成的模型是一个白盒模型,输出结果的含义很容易通过模型的结构来解释,而神经网络输出的是一个黑盒模型,最终结果往往是模型确实可以解决问题,甚至是工作得非常好,但是人类无法根据模型去解释为什么会如此。 ⏱ 2026-09-21 07:02:23 ^23637052-30-4863-5010
3.6 符号主义的现状和未来
📌 NP完全问题”虽然说到底也算是算力大小的问题,但它是无法靠摩尔定律去突破的, ⏱ 2026-09-22 06:48:25 ^23637052-31-1085-1123
📌 抛弃掉图灵机和冯·诺依曼架构,譬如生物计算机、量子计算机成熟之后才可能看到希望。 ⏱ 2026-09-22 06:48:59 ^23637052-31-1156-1196
4.2 引言:命运
📌 他们将共同创造出人类历史上第一可工作的关于精神机械论的理论—这个理论是神经科学的第一种机械计算方法,是人工智能以及现代计算机逻辑设计的支柱。 ⏱ 2026-09-23 07:29:11 ^23637052-35-2824-2894
4.3 大脑模型
📌 在人类大脑的神经网络结构中,神经元链条连成环状是不可避免的,但如果是这样的话,环中最后一个神经元的输出又会成了第一个神经元的输入,这是一个自己咬自己尾巴的神经元网络。 ⏱ 2026-09-24 07:16:51 ^23637052-36-2576-2659
📌 这个信息跟闪电发生的时间毫无关联,是一个“挤掉了时间的印象”。或者简单地说,这就是“记忆”。 ⏱ 2026-09-24 07:18:19 ^23637052-36-3345-3391
📌 这种设想尝试解释了人类大脑是如何创造出回荡在脑海里的丰富而精巧的具有层级化的信息的,这个创造过程就被他们称作“思考” ⏱ 2026-09-24 07:19:17 ^23637052-36-3574-3632
📌 麦卡洛克和皮茨的《神经活动中内在思想的逻辑演算》一文被认为是连接主义研究的开端,提出了机械式的思维模型,该文章的重要贡献还在于首次提出了“神经网络”(Neural Network)这个概念。 ⏱ 2026-09-24 07:21:44 ^23637052-36-4868-4963
📌 神经元要将接收到的输入值按照加权值进行求和,并将求和结果与该神经元自身的“激发阈值”(Threshold)进行比较,根据输入值与阈值相比的结果大小决定是否要对外输出信号。 ⏱ 2026-09-24 07:23:23 ^23637052-36-5184-5269
4.4 崛起的明星
📌 控制论创始人维纳(中)曾在20世纪30年代于北京清华大学工作 ⏱ 2026-09-25 08:20:38 ^23637052-37-1323-1353
📌 人类基因的存储容量[插图]是无法支持精确描述这个网络所需要的庞大的信息量的—该信息量甚至超过了人类所有图书容量的总和。 ⏱ 2026-09-25 08:22:33 ^23637052-37-1816-1998
📌 引用的就是皮茨关于记忆的表述。其实,这份极重要的奠定了至今计算机体系结构的草案,整篇论文就只有一个外部引用,就是皮茨和麦卡洛克的那篇论文《神经活动中内在思想的逻辑演算》。 ⏱ 2026-09-25 08:26:23 ^23637052-37-3055-3140
4.7 凛冬将至
📌 他们合作的成果就是那本在人工智能历史上影响巨大的、“是也非也”的传奇书籍:《感知机:计算几何学导论》(Perceptrons: An Introduction to Computational Geometry)。 ⏱ 2026-09-28 07:01:38 ^23637052-40-1328-1435
📌 最典型的就是“异或问题”。异或运算(XOR,是一种逻辑析取操作,当两个运算元的值不同时结果为真)也是一个很基本的逻辑运算操作, ⏱ 2026-09-28 07:01:17 ^23637052-40-5244-5307
4.8 人工智能的繁荣与寒冬
📌 翻译过程中,机器把“心有余而力不足”(The spirit is willing but the flesh is weak)的英文句子译成俄语再译回来之后竟然变成了“酒是好的,肉变质了” ⏱ 2026-09-29 06:55:37 ^23637052-41-3224-3318
4.9 本章小结
📌 直到2006年辛顿提出深度信念网络(Deep Belief Network, DBN)以后,神经网络真正具有统治力的时代—深度学习的时代才真正来临, ⏱ 2026-09-29 07:01:22 ^23637052-42-1129-1203
5.1 概述
📌 “行为主义学派”(Actionism) ⏱ 2026-09-30 06:20:18 ^23637052-44-1174-1193
5.2 引言:昔日神童
📌 1948年出版的《控制论》(Cybernetics)一书,这是一部对近代科学影响深远的著作,开创了一个全新的学科“控制科学”(ControlScience),也开创了人工智能中的行为主义学派。现在每当大家提及维纳时,都总是冠以“控制论之父”的头衔。 ⏱ 2026-10-01 09:23:00 ^23637052-45-1978-2102
5.4 从“控制论”说起
📌 认为人类、生物和具有智能的机器等都是通过“由负反馈和循环因果律逻辑来控制的目的性行为”来实现自身目的的,这一句话便是控制论思想的源头 ⏱ 2026-10-03 15:25:42 ^23637052-47-1345-1411
📌 我国著名科学家、控制科学的先驱钱学森先生在编写专著《工程控制论》(Engineering Cybernetics)时,特别在“Cybernetics”前冠以“Engineering”一词,也是为了摒弃控制论中关于人与智能的充满争议的观点,专门针对工程控制和工程自动化方向去拓展 ⏱ 2026-10-03 15:28:03 ^23637052-47-2316-2454
5.5 机械因果观和行为主义
📌 对比总结一下了:连接主义学派使用的是生物仿生学的方法,通过模拟生物体的脑部组织结构去寻找智能,它关心的是承载智能的生理结构;符号主义学派使用的是逻辑推理和演算的方法,通过解析物理符号系统假说和启发式搜索原理去寻找智能,它关心的是承载智能的心理结构和逻辑结构;而行为主义学派使用“感知—动作”的研究方法,通过环境反馈和智能行为之间的因果联系去寻找智能,既不关心智能的载体和其内部的生理结构,也不关心智能的逻辑和心理结构,只关心智能的外部可观察到的行为表现。如果要用最简单的一句话进行总结,我们可以说连接主义学派在研究“大脑”(Brain),符号主义学派在研究“心智”(Mind),行为主义学派则在研究“行为”(Action)。 ⏱ 2026-10-04 09:27:04 ^23637052-48-3367-3679
5.6 自复制机和进化主义
📌 “不可靠部件”可以理解为构成生命的大量分子,由于热力学干扰,这些分子很不可靠。但是生命系统之所以可靠的本质,恰是因为它可以完成精确的自我复制。 ⏱ 2026-10-05 10:33:24 ^23637052-49-2079-2150
📌 现在,我们仍然还没有设计出能够真正完全复制的机器硬件[插图],但是遵循冯·诺依曼的思路的自我复制软件确早已经存在了,电脑病毒就是其中最广为人知的一种。 ⏱ 2026-10-05 10:35:03 ^23637052-49-2880-3293
5.7 机器人学
📌 《罗萨姆的万能机器人》(Rossum’s Universal Robots) ⏱ 2026-10-05 10:40:41 ^23637052-50-490-528
📌 捷克语的同名小说,写于1920年,出版三年之后,被翻译成英语在伦敦演出,这次演出是“Robot”(机器人)这个单词首次出现在英语当中。 ⏱ 2026-10-05 10:40:30 ^23637052-50-548-615
📌 至今,工业机器人领域的四大企业(瑞典的ABB,德国的库卡[插图],以及日本的发那科和安川电机)都为欧、日所把控。 ⏱ 2026-10-06 00:23:47 ^23637052-50-6062-6235
第三部分 第三波高潮
📌 Machine learning is the study of algorithms that allowcomputer programs to automatically improve through experience.机器学习就是一种可以让机器根据历史经验自动改进自身的学习算法。——汤姆·米切尔(Tom Mitchell), 《机器学习》,1998年 ⏱ 2026-10-06 00:31:34 ^23637052-52-504-752
6.2 什么是机器学习
📌 机器学习=模型+策略+算法 ⏱ 2026-10-08 06:50:01 ^23637052-54-3148-3161
6.3 机器学习的意义
📌 现在各种机器学习的经典学习策略,如线性回归、支持向量机、神经网络,它们本身也并不解决具体问题, ⏱ 2026-10-09 06:52:35 ^23637052-55-1227-1274
📌 但是今天大家所指的机器学习,只是根据已知数据形成的对未知数据的模拟,而并非人类意义上的主要以学到了知识和规律为目的学习,也许将后者称为“思考”,与“学习”区分开来会更为恰当 ⏱ 2026-10-09 06:53:35 ^23637052-55-1579-1665
6.4 机器学习解决的问题
📌 机器学习的两个主要发展方向与演绎、归纳相对应,演绎是根据一般规律推理出对个别事物的认知,而归纳则是根据具体事物的统计获得对于一般规律的认知, ⏱ 2026-10-11 12:14:30 ^23637052-56-2414-2484
6.5 进行机器学习:实战模型训练
📌 从形式上说,模型就是一个可被计算的、有输出结果的方法或函数,这个函数可能是有科学含义的,也可能没有任何含义,可能用于决策,也可能用于预测。 ⏱ 2026-10-12 06:49:49 ^23637052-57-2273-2342
📌 一旦把样本的表示形式从语言文字转化为数学中极为常见的向量之后,瞬间我们就拥有了大量的数学工具,如向量运算、矩阵等可以用来处理这些样本了,数学是沟通现实世界与计算机的最好桥梁。 ⏱ 2026-10-13 06:31:35 ^23637052-57-5116-5203
📌 “无监督学习”(Unsupervised Learning) ⏱ 2026-10-14 06:50:04 ^23637052-57-7852-7882
📌 而分类和回归之间的主要差别是,回归做的是定量分析,输出的是连续变量的预测,而分类做的是定性分析,输出的是离散变量的预测。 ⏱ 2026-10-14 06:48:53 ^23637052-57-8217-8277
📌 “监督学习”(Supervised Learning) ⏱ 2026-10-14 06:50:12 ^23637052-57-8460-8487
📌 “强化学习”(Reinforcement Learning) ⏱ 2026-10-14 06:50:22 ^23637052-57-8565-8595
📌 无论训练集是由样本还是由样例构成,监督学习和非监督学习都是从历史经验之中学习,而强化学习并不主要依赖历史经验,而是一种基于环境对行为收益的评价来改进自身的模型。 ⏱ 2026-10-14 06:51:17 ^23637052-57-8623-8703
📌 “维度灾难”(Curse of Dimensionality) ⏱ 2026-10-14 06:59:26 ^23637052-57-11818-11849
📌 在数学上也已经有很多成熟的自动降维算法了,如“奇异值分解”(Singular Value Decomposition, SVD)、“主成分分析”(Principal Component Analysis, PCA)等,这类算法能够把数据中相似性高的、信息含量少的特征给自动剔除掉,采用这些算法也可以实现数据降维, ⏱ 2026-10-16 07:06:26 ^23637052-57-14199-14355
📌 统计机器学习中各种主要模型和算法,从线性回归、逻辑回归到支持向量机、Boost算法,还有神经网络等,其本质上都是基于不同的损失函数建立起来 ⏱ 2026-10-17 10:31:58 ^23637052-57-18521-18590
📌 所谓学习某一种机器学习算法,很大程度上就是去学习理解其损失函数的意义,然后学习如何去求解或者优化,得到满足损失函数最小值的模型结果。 ⏱ 2026-10-18 01:17:41 ^23637052-57-22962-23028
📌 “泛化能力”(Generalization Ability),就是机器学习算法对新鲜样本的适应能力,作为衡量机器学习模型的最关键的性能指标, ⏱ 2026-10-19 08:41:23 ^23637052-57-28566-28636
📌 误差通常有三个来源:偏差、方差和噪声 ⏱ 2026-10-20 05:06:08 ^23637052-57-28981-28999
📌 偏差的含义是指根据训练集数据拟合出来的模型输出结果与样本真实标记的差距 ⏱ 2026-10-19 08:47:14 ^23637052-57-29643-29678
📌 方差的含义是指给出同样数量,但内容发生了变动后的样本数据所导致的模型性能变化。 ⏱ 2026-10-19 08:47:17 ^23637052-57-29888-29927
📌 那些属于训练数据自身的,而并非是所有数据共有的特性也都被模型学到,这时候就会发生“过拟合”(Overfitting)现象,在某些资料中也称为“高方差”(High Variance)。 ⏱ 2026-10-20 06:25:48 ^23637052-57-31089-31180
📌 控制模型复杂度”可以视为机器学习中除了“让模型的输出结果与实际结果差异最小”之外的第二重要的目标。 ⏱ 2026-10-21 06:55:44 ^23637052-57-35648-35697
📌 在机器学习领域,也使用了数学里“范数”(Norm)的概念[插图]来解决如何衡量系数向量的大小,这直接关系到采用何种实现方式实现罚函数。 ⏱ 2026-10-22 06:52:31 ^23637052-57-39417-39591
📌 范数必须满足非负性、齐次性和三角不等式, ⏱ 2026-10-22 06:53:30 ^23637052-57-39686-39706
📌 对于不同p取值的p范数,其几何含义可理解为是描绘了该取值下空间中单位球(Unit Ball,表示在空间中半径为1个单位的球面)形状。 ⏱ 2026-10-22 06:57:51 ^23637052-57-40628-40750
📌 而L0范数的真实含义是向量中非零元素的数量之和。 ⏱ 2026-10-22 07:00:37 ^23637052-57-43945-44022
📌 譬如神经网络中采用的Dropout就是根据神经网络特点设计的一种防止过拟合的技巧。 ⏱ 2026-10-22 07:12:47 ^23637052-57-50678-50719
📌 曲面的一点,切线有无数条 ⏱ 2026-10-23 06:50:29 ^23637052-57-52481-52493
📌 梯度下降法和牛顿法、拟牛顿法相比,它们都是迭代求解,不过梯度下降法依赖的是梯度,而牛顿法、拟牛顿法是用二阶的海森矩阵的逆矩阵或伪逆矩阵求解。 ⏱ 2026-10-24 12:04:14 ^23637052-57-58614-58684
📌 假设所有问题出现的机会相等,或者说所有问题都是同等重要的,那不论学习算法A有多“聪明”,学习算法B有多“笨拙”,它们的性能期望都是相同的。 ⏱ 2026-10-25 07:10:09 ^23637052-57-59642-59711
📌 如果一个算法对于某类型的问题比另外的算法效率高,那么它一定不具有普适性,一定存在另外某一类问题使得这个算法的性能低于随机选择的结果。 ⏱ 2026-10-25 07:11:21 ^23637052-57-59771-59837
📌 对于通用问题,高效与普适是一对矛盾。这条定理被麦克雷迪和沃尔珀特很形象地命名为“没有免费的午餐定理”(No Free Lunch Theorem, NLFT)。“没有免费的午餐定理” ⏱ 2026-10-25 07:12:18 ^23637052-57-59842-59933
📌 其实有时候探究解决问题的具体步骤反而是其次的,深刻理解问题本身,因地制宜地制定解决问题的策略更为重要。 ⏱ 2026-10-25 07:14:04 ^23637052-57-60417-60468
6.7 本章小结
📌 就必须深挖机器学习里关于“具体应该如何去做”的内容了,譬如线性模型、决策树、支持向量机、贝叶斯分类器等各种学习算法, ⏱ 2026-10-27 06:57:27 ^23637052-59-722-780
第7章 深度学习时代
📌 当莱特兄弟和其他人不再模仿鸟类飞行,而是开始研究空气动力学的时候,人类对“人工飞行”的探索才算是取得了成功。 ⏱ 2026-08-11 15:51:00 ^23637052-60-606-660
7.2 引言:深度学习教父
📌 多伦多大学计算机科学系的杰弗里·辛顿(Geoffrey Hinton, 1947—)教授。在今天他被尊称为“深度学习教父” ⏱ 2026-10-29 05:34:25 ^23637052-62-755-816
7.4 复兴之路
📌 其实早已经有人提出过后来被辛顿命名为“误差反向传播算法”的训练方法,可以很好地解决多层神经网络的训练问题了。 ⏱ 2026-10-30 06:54:26 ^23637052-64-3265-3319
📌 1969年,斯坦福大学的电子工程系教授阿瑟·布莱森(Arthur Bryson, 1925—)在自动化控制领域中以“多级动态系统优化方法”的名字提出了与现在误差反向传播算法相同思路的方法。 ⏱ 2026-10-30 06:56:53 ^23637052-64-3348-3442
📌 到1986年,辛顿与心理学家大卫·鲁梅尔哈特(David Rumelhart,1942—2011)在《自然》杂志上发表了论文《通过误差反向传播算法的学习表示》(Learning Representations by Back-propagating Errors)[插图]才真正引起了学术界的关注。 ⏱ 2026-10-30 06:57:14 ^23637052-64-3872-4183
📌 只需稍微想象一下:在一个二维平面中,不使用任何曲线,仅通过数量足够的直线段也是可以在任意精度要求上拟合任意图形的,只是要求的精度越高,需要的直线段数量相应就会变得越多。 ⏱ 2026-10-30 07:05:15 ^23637052-64-5687-5771
📌 “激活函数”(Activation Function,也常被译为“激励函数”)的作用就是为了给神经网络加入非线性的表达能力,它改进了阈值函数只能单纯比较大小判断是否激发神经元信号的简单逻辑 ⏱ 2026-10-30 07:08:05 ^23637052-64-5829-5923
📌 深度学习中卷积网络、循环网络、长短期记忆网络等各种类型神经网络模型,全连接前馈网络 ⏱ 2026-10-31 07:36:43 ^23637052-64-7418-7459
7.5 深度学习时代
📌 据说为了给自己减压打气,他还养成了一种自我激励的特殊方法,每周发泄般大吼一次:“我发现大脑是怎样工作的啦! ⏱ 2026-11-01 12:56:16 ^23637052-65-1368-1421
📌 只能选一件事情来代表辛顿对人工智能最具价值的贡献的话,笔者的选择不是他发表的二百多篇论文,不是对神经网络度过生存危机有非常巨大的意义和价值的误差反向传播算法,不是他与大卫·艾克利(David Ackley,1947—)和特里·赛杰诺斯基(Terry Sejnowski, 1947—)共同发明的“受限玻尔兹曼机”(Restricted Boltzmann Machine,RBM)[插图],也不是后来以受限玻尔兹曼机为基础,进一步演化出来的深度信念网络,而是他三十多年坚持不懈,开创了深度学习这门机器学习的分支,成功扭转了全世界对神经网络前景的看法,为后来的研究者打开了通向神经网络和机器学习新世界的大门。 ⏱ 2026-11-01 12:58:20 ^23637052-65-1548-1974
📌 总体而言,他研究的方向是将神经网络算法的演算过程与人脑思维方式相比拟,希望让那些机器像一个蹒跚学步的孩子一样自我进步,以此模仿大脑的神经网络形式。 ⏱ 2026-08-11 19:49:49 ^23637052-65-2738-2811
📌 人类认知过程与深度学习之间可能出现的共通点了,即“分层迭代、逐级抽象”。 ⏱ 2026-11-02 06:57:31 ^23637052-65-5039-5075
📌 深度学习的本质,就是一种逐层自动进行特征提取的机器学习方法 ⏱ 2026-11-02 07:01:04 ^23637052-65-5577-5606
📌 深度学习还有另外一个不为人知但其实更为贴切的名字,叫作“无监督特征学习”(Unsupervised Feature Learning) ⏱ 2026-11-02 07:00:10 ^23637052-65-5667-5734
📌 “无监督”的意思即不需要人工参与特征的选取过程,这点才是深度学习的最大特点, ⏱ 2026-11-02 07:00:25 ^23637052-65-5747-5785
📌 从1986年开始算起,一直到2006年深度学习的横空出世,长达20年的时间里,人工神经网络实践应用确实乏善可陈,即使用到神经网络,也大多只是含有一层隐层的三层网络模型而已。 ⏱ 2026-11-02 07:03:37 ^23637052-65-6528-6614
📌 学术界、工业界把论文《通过神经网络进行数据降维处理》定性为深度学习的开山之作,不仅是因为它以多层神经网络为工具载体,引出了深度学习的概念框架,更是因为它清晰地描绘出了深度学习相对于传统浅层学习的两个很有价值也很具体的优势。 ⏱ 2026-11-03 07:54:16 ^23637052-65-8700-8811
📌 先由神经元组成“微皮层柱”,再由“微皮层”柱组成“皮层柱”(Cortical Column),由小到大逐步复杂化。 ⏱ 2026-11-05 06:26:53 ^23637052-65-27855-27912
📌 辛顿关于Capsule结构的论文《胶囊结构之间的动态路由》(Dynamic Routing between Capsules)已经被“2017年度神经信息处理系统进展大会”(Neural Information Processing Systems, NIPS 2017)所接受,据说其在MNIST训练集上非常成功, ⏱ 2026-11-05 06:29:17 ^23637052-65-28748-28906
📌 如果辛顿晚年试图突破深度学习,如同爱因斯坦晚年试图统一电磁力和引力一样,是注定无法成功的,那我相信辛顿也依然愿意坚持下去,毕竟他在神经网络这个领域已经坚守了超过40年了。 ⏱ 2026-11-05 06:30:12 ^23637052-65-29247-29332
7.6 深度神经网络
📌 卷积神经网络、循环神经网络、对抗式生成网络三种比较具有代表性意义的深度神经网络模型 ⏱ 2026-11-05 18:01:33 ^23637052-66-793-834
📌 卷积神经网络(Convolutional Neural Networks, CNN) ⏱ 2026-11-05 19:49:45 ^23637052-66-3097-3139
📌 这篇论文基本上是现在业界所认可的卷积神经网络的开端,所以大家认为燕乐存是卷积神经网络的缔造者。 ⏱ 2026-11-05 18:08:02 ^23637052-66-3891-3938
📌 循环神经网络(Recurrent Neural Network, RNN) ⏱ 2026-11-05 19:49:47 ^23637052-66-5784-5828
📌 “生成式对抗网络”(Generative Adversarial Networks, GAN) ⏱ 2026-11-05 19:49:45 ^23637052-66-9283-9330
📌 2014年,奥本希的得意门生、OpenAI和谷歌大脑的青年科学家伊恩·古德费洛(Ian Goodfellow,1985—)发表了一篇论文《生成式对抗网络》(Generative Adversarial Networks)是这个领域的开山之作。 ⏱ 2026-11-05 19:49:46 ^23637052-66-9465-9586
📌 使用卷积和反卷积来作为判别、生成网络的生成式对抗网络也被更进一步地称为“深度卷积生成式对抗网络”(Deep Convolutional Generative Adversarial Networks, DCGAN) ⏱ 2026-11-05 19:49:44 ^23637052-66-10645-10752
7.7 从实验室到企业
📌 深度学习之所以能够在2012年爆发式地迅速崛起,ILSVRC 2012比赛是机遇,辛顿率先提出了可行的理论和方法,这个算是内因;还有两个很重要的外因,一个是大数据的兴起,另一个是以“图形处理器”(Graphics Processing Unit, GPU)为代表的面向大规模并行计算所设计的硬件有了长足发展, ⏱ 2026-11-05 19:49:46 ^23637052-67-433-587
📌 IBM、微软和谷歌(这是目前领导人工智能领域的四大公司中的三家,还有一家是Nuance,它是苹果的技术供应商)等大公司 ⏱ 2026-11-06 06:23:15 ^23637052-67-735-794
📌 谷歌的顶尖技术大拿杰夫·迪恩(Jeff Dean,1968—) ⏱ 2026-11-06 06:52:42 ^23637052-67-1280-1311
📌 卷积神经网络的发明人,被称为“卷积神经网络之父”的燕乐存是法国人,博士毕业于匹兹堡大学医学中心(University of Pittsburgh Medical Center, UPMC),后来加入了贝尔实验室工作,目前在纽约大学任教。 ⏱ 2026-11-06 07:00:32 ^23637052-67-4703-4821
📌 深度学习“三巨头”中最后一位奥本希与燕乐存一样是法国人,出生于巴黎,后来去了加拿大求学,目前在加拿大蒙特利尔大学工程系任教。 ⏱ 2026-11-06 07:05:15 ^23637052-67-5943-6005
7.8 挑战与反思
📌 可以说利用深度学习解决某一个问题就是一个如何充分利用巨量数据的问题。 ⏱ 2026-08-12 09:37:31 ^23637052-68-1015-1049
📌 处理大量数据的同时,也决定了机器必须拥有处理庞大数据的能力。为 ⏱ 2026-08-12 09:37:41 ^23637052-68-1078-1109
📌 ,能耗效率上的差距也同样巨大,如果把人类大脑的活动转换成电能的话,仅相当于一只20瓦灯泡的功率,而谷歌大脑在运作时,甚至需要配备专用的电厂来支撑。这些事实似乎从一个侧面跟我们诉说着深度学习虽然是模拟人脑而来的,但是还远未找到人脑生物结构中的精髓,还处于非常初级的阶段。 ⏱ 2026-08-12 09:38:57 ^23637052-68-1679-1813
📌 计算机向人脑学习智能,要有跨越式的突破,关键点大概也不会在于模仿得多么接近人脑结构,而是最终能够发现其中的理论基础,目前神经网络效率不高,就是没有理论基础去指导优化的一种外在表象 ⏱ 2026-08-12 09:39:20 ^23637052-68-1950-2039
📌 计算机可以思考却不需要和人类一样地思考,计算机能够学习却不需要和人类一样地学习。 ⏱ 2026-08-12 09:39:38 ^23637052-68-2155-2195
📌 图灵认为计算机应该凭借它的快速、精确、可复制等优势特点,扬长避短地找到通向智能的道路,而不必受到生物结构的牵绊。 ⏱ 2026-08-12 09:40:56 ^23637052-68-2196-2252
📌 ,历史事实证明了哪怕是当时最保守的学者都仍然是严重低估了机器通过逻辑演绎去实现人工智能的难度,经过一系列尝试与挫败之后,人们终于不得不承认基于符号和规则的机器学习所能处理的实体和规则数量,距离现实世界所存在的几乎无穷无尽的自然规律和它们互相作用的组合,有不止十万八千里的差距,要由此获得智能简直无异于是蹇人升天、水中揽月。 ⏱ 2026-08-12 09:41:09 ^23637052-68-2327-2488
📌 神经网络就像一个神秘的“黑箱”,它有十分神奇的功能但是我们对它如何工作如何推演的过程却无从知晓,这就是常说的神经网络的“不可解释性”。神经网络的不可解释性阻碍了这一技术的抽象和总结,限制了高水平认知智能的研究和发 ⏱ 2026-08-12 09:43:08 ^23637052-68-3101-3207
📌 神经网络的操作对于人类来说太过抽象,我们无法很好地验证它的工作过程是否合理,但是有一点是可以肯定的,现在的神经网络并不符合人类一贯的科学直觉。 ⏱ 2026-11-07 08:08:41 ^23637052-68-3211-3282
📌 目前人类发现的诸多科学真理,普遍都带有简洁明了的性质,复杂如物理上的质量和能量之间的关系,可以用一条简单的质能方程E=mc2来表达,电场、磁场之间的关系可以用4条简洁的麦克斯韦方程组来描述清楚,数学上简单的欧拉公式eπi+1=0就把三角函数和指数函数之间的关系桥接起来。以上这些例子还有很多,即使是统计学和概率论这种同样面向大量数据的科学,最终都同样可以使用严谨简洁的方法去表达数据的内在联系。根据之前探索世界的经验,人类总是更愿意相信,世界的本质应该是可以被数学所描述的,但是神经网络无疑不具备这样的性质, ⏱ 2026-08-12 09:42:58 ^23637052-68-3311-3678
📌 解决深度神经网络灵活性和适应性的“迁移学习”(Transfer Learning)方法与同时面向多个学习目标的“多任务学习”(Multi-task Learning)方法是深度学习领域的新热点。 ⏱ 2026-11-07 08:12:24 ^23637052-68-5016-5113
7.9 本章小结
📌 物理学家马克斯·普朗克(Max Planck,1858—1947)曾说过:“科学每经历一次葬礼就前进一步(Science advances one funeral at a time)。” ⏱ 2026-11-07 08:20:13 ^23637052-69-539-633
第四部分 人机共生
📌 现在并不是结束,结束甚至还没有开始,现在仅仅是序幕的尾声。——温斯顿·丘吉尔(Winsto ⏱ 2026-08-12 09:55:58 ^23637052-70-644-721
8.1 概述
📌 一种是希望人工智能借鉴人类解决某一类问题时表现出的智能行为,研制出更好的工具,用来解决特定的智力问题,这种观点现在被称为“专用人工智能”(A ⏱ 2026-08-12 09:58:44 ^23637052-71-808-878
📌 另一种理念是想模仿人类的思维,希望能够研制出各方面都可以与人类智能比肩的人造智能体,甚至是最终能够超越人类智慧水平的人造物。这种人造智能体可以有自己的心智和意识,能根据自己的意图开展行动,对各种问题都能有良好的应对,现在一般称之为“通用人工智能”(GeneralArtificial Intelligen ⏱ 2026-08-12 10:00:37 ^23637052-71-947-1099
8.3 与机器竞技
📌 人工智能的识别和理解能力,是指机器对图像、文字和声音等天然的外界信息能正确输入与正确解析的能力。能够正确地接受自然界的信息,是任何一种智能体能够认知世界的前提 ⏱ 2026-08-12 10:14:23 ^23637052-73-623-702
📌 2016年,国际汽车工程师协会(Society of Automotive Engineers International, SEAInternational)制定了国际统一的汽车智能化的分级标准[插图],将完全人工驾驶到完全自动驾驶的过程划分为五个等级 ⏱ 2026-11-10 07:03:51 ^23637052-73-21810-22080
8.4 与机器共舞
📌 在2007年,英伟达非常有预见性地提出了“统一计算设备架构”(Compute Unified Device Architecture, CUDA)的概念,并将其实现在以代号G80为核心芯片的NVIDIA GeForce 8系列显卡上,第一次让显卡上的“图形处理单元”(Graphics Processing Units, GPU)具备了可编程的能力,使得GPU的核心“流式处理器”(Streaming Processors, SPs)既具有处理像素、顶点和图形等渲染能力,又同时具备通用的单精度浮点运算能力。 ⏱ 2026-11-11 10:37:24 ^23637052-74-6604-6858
📌 CUDA技术使得在普通个人电脑级别的计算机上进行高并行度、高性能运算的成本大幅降低,以至于一个普通科研人员的台式电脑都有可能部署上万个并行处理内核。 ⏱ 2026-08-12 10:44:49 ^23637052-74-7621-7695
📌 人工智能推动的不仅仅是经济发展,生产力决定生产关系,生产关系一定要适应生产力,这是人类社会运行的最基本规律之一。看看历史就知道:农业革命,铁器牛耕的出现,让封建地主战胜了奴隶主,地主阶级取代了奴隶阶级;工业革命,机器大规模生产的出现,资本主义战胜了封建主义;信息革命,计算机、互联网和人工智能的出现,也将是下一次社会秩序的变革的导火索。长期来看,人工智能会导致相同价值的经济生产所需的人力愈来愈少,资本主义社会的本质是劳动创造价值,价值用金钱来表现,金钱的交换就是劳动与劳动之间的交换,但是空前规模的生产效率提升,将会促使社会资源从按劳分配转变为按需分配,必须要建立新的社会秩序与之配套,这是人工智能为人类带来的最大机遇,是生产力变革带来的社会秩序的变革。 ⏱ 2026-08-12 10:46:07 ^23637052-74-8605-8933
附录 人工智能历史大事记
📌 1923年 卡雷尔·艾派克(Karel apek’)的话剧小品《罗萨姆的万能机器人》(Rossum’s Universal Robots)在伦敦上演,这是“Robot”这个单词首次出现在英语中。 ⏱ 2026-09-13 14:03:48 ^23637052-76-1236-1340
📌 1931年 库尔特·哥德尔(Kurt Gödel)提出了著名的哥德尔不完备定理,证明了如果一个形式系统是不含矛盾的,那就不可能在该系统内部证明系统的不矛盾性。这个定理对机械智能的限制决定了无论人类造出多么复杂的机器,只要它是机器,就将对应于一个形式系统,就能找到一个在该系统内不可证的公式而使之受到哥德尔不完备定理的打击,机器不能把这个公式作为定理推导出来,但是人心却能看出公式是真的。因此这台机器不可能是承载思维的一个恰当模型。 ⏱ 2026-11-10 07:21:41 ^23637052-76-1928-2150
读书笔记
1.6 智能与人类的界限
划线评论
📌 “中文房间”实验 ^531703608-8bXcBt5CF - 💭 中文房间实验(Chinese Room Argument)是哲学家约翰·塞尔(John Searle)于1980年提出的一个著名思想实验,旨在反驳”强人工智能”(Strong AI)的观点。 - ⏱ 2026-09-08 06:49:26
6.5 进行机器学习:实战模型训练
划线评论
📌 曲面 ^531703608-8d3EFe8e7 - 💭 平面? - ⏱ 2026-10-23 06:51:29
划线评论
📌 凸函数 ^531703608-8d3Fk42Do - 💭 看着凸却叫凹,看着凹却叫凸,最反直觉的定义。 - ⏱ 2026-10-23 07:01:33