1－集智俱乐部

人工智能(540) 小组活动(295) 集智活动(238) 系统理论方法(214) 生活学习科研(172) 人工生命(121) 资源共享(114) 会议消息(91) 边缘与交叉(90) 异想天开(78) 意见建议(69) 经济系统(60) 艺术与欣赏(48) 统一集论(27) “探索脑”读书会(16) 决策与管理(15) 信息论(13) GEB读书会(11) 量子(10) 热力学与进化论小组第一期(9) 观察者(9) AI小组第三期读书会(8) 统计学习读书会(8) "生态中性理论"读书会(7) "计算心理学"读书会(7) AI小组第一期读书会(7) "蓝色7月"电影节(7) 系统中的观察者(7) 仿真平台(6) 网站(6) 异速生长(6) 熵(6) 量子力学补习班(6) 互联网(5) 分形(5) 复杂经济学小组读书会(5) 暑期学校(5) 机器学习(4) 科学哲学(4) 量子决策理论读书会(4)

2013-08-04 02:00:59　

机器学习人工智能复杂性

jake

科学在进展吗？不知道你是否跟我一样心存这样的疑问？在无穷无尽的报告、论文、书籍中寻找那么一点点的“新”刺激，新突破。然而，大部分时间都在感慨：这都是好几十年前的东西，居然还在大讲特讲。

的确，距离我上一次感受到科学的是在进展已经将近十年了。那个时候，我刚刚接触到在当时看来二十多年前的东西，就是圣塔菲研究所他们搞的复杂性科学。当时兴奋异常，夜不能寐，日思夜想，耳鬓厮磨，于是终于在荷尔蒙的刺激下建起了集智俱乐部网站……

然而十年过去了，我再也没找到更新的刺激。虽然在这十年中，我也学了不少对于我来说的新东西，比如统计物理、量子力学等等，但那些基本上都是比复杂性科学更加古老的东西，只不过我没有接触过而已。

直到最近，具体来说，也就是这一年，或者更精确说，就是上个星期，我突然意识到，科学又有了新的进展了。而且这个新进展还不止一个（实际上是有三个同时进入我的视野）。尽管，对于很多人来说我所说的新进展已经不是太新的东西了，但是基本可以肯定，至少在科普书中绝对读不到这些东西（这也可以算作评价一个东西是否新鲜的标准吧？）。虽然，除了第一个东西，其他两个的进展感觉并没有那么大的震撼力，但是，根据我的直觉（我一直以为自己的直觉好的不得了，简直就半仙儿了），这些玩意毕竟蕴含着很有前途的真正震撼的进展。

好了，卖了半天关子，就让我们看看这三个东西是什么吧？它们分别是AdS/CFT对应、深度学习（Deep learning）和通用人工智能(Universal Artificial Intelligence)，非常有趣的是，这三个东西居然都是我从集智俱乐部的朋友那里学到的，尽管把这些东西推荐给我的人自己也不一定觉得推荐的东西有那么靠谱。所以说，这从另一个侧面证明了，集智俱乐部真的变得越来越靠谱了，作为一个科研人员，你在这里真的能接触到不同领域的全新的东西。所以，自卖自夸一下，大家多多参加集智的讨论吧，尽管题目可能跟你的领域差别很大。

下面，我就来一一介绍他们，以及顺便八卦下三个集智成员，也就是三套东西的推荐者。

1、AdS/CFT对应

首先得解一下词，这里AdS是Anti-de-Sitter，de Sitter是一位天文学家，他当时（1917年）曾找到了一个神奇的广义相对论方程的解，这个解存在于一种奇妙的对称时空（de Sitter空间）中，其中时间的对数作为极坐标的级径，而空间则作为高维的相角。在de Sitter空间中宇宙常数为正数，而所谓的Anti-de-Sitter空间则是宇宙常数取负值的时空，我们简称AdS。AdS是一个负曲率的空间，也就是说它是一个双曲面。一个最简单的二维的AdS空间可以形象地用埃舍尔的双曲鱼图来表达，如下图：

这个双曲空间的一个有趣的地方在于它的边界，在双曲空间所嵌入的欧式空间看来有限边境的区域实际上是双曲空间无法达到的无穷运点。根据AdS空间，这个无穷远边界有很多有趣的性质。物理学家Maldacena发现，如果AdS空间（整个圆形）是一个描述具有引力的弦论物理世界，那么它的边界（外围的大圆）就是一个没有引力的，但是具有强相互作用的共形场论(Conformal Field Theory，也就是CFT）世界。也就是说，AdS和CFT是一一对应的，原来很难解决的AdS中的引力问题可以对应到边界的CFT理论来解决，而很难解决的量子场论中的强相互作用问题可以变到AdS空间中来解决，从而避免强耦合。

这套理论是一个更普遍的被称为全息原理(Hologram)的具体实例。这个原理说任何体积（Bulk）中的信息都被无损失地编码到了与这个体所对应的边界(Boundary)上了。因此，AdS就是体，CFT就是边界，他们二者一一对应。这种对应关系后来又被很多物理学家证明那个相当普遍，一批搞统计物理的聪明人尝试着把强耦合的处于理解态的Ising模型理解为在边界上的强耦合系统，于是体空间中的对偶模型就变成了一个非临界、弱相互作用的可解系统，于是很多以前很难解的临界问题就可以轻松地被化解掉了。这也许是解决临界现象的一种全新的尝试。

这套理论之所以震撼了我，完全是因为它与复杂系统的联系。我们知道，已有大量的事实证明复杂系统基本上都可以看作是处于临界状态的系统，但是，迄今为止，我们仍然没有找到能够理解复杂系统的高视角。那么，AdS-CFT对应也许恰恰提供了一种高视角，因为所有的幂律、标度现象都可以看作是双曲边界上的现象，而它们对应的体也许是很好理解的物理。有趣的是，最近的一篇复杂网络文章刚好就是沿着这个思路前进的。希腊的计算机科学家F. Papadopoulos就提出了一套有趣的AdS空间中的复杂网络生长模型那个。该模型不仅可以解释所有的观测到的复杂网络实证规律，而且可以还原所有已知的模型。

就再两周前我做的集智报告《大自然如何设计》（http://www.douban.com/event/19259125/）的时候，我介绍了Papadopoulos的模型，坐在台下的Everett（http://www.douban.com/people/Everett/）兴奋地指出来Papadopoulos的双曲空间就是物理学家们所说的AdS空间，时间的方向恰恰是网络重整化的反方向，没想到搞复杂网络的学者们居然走在了物理学家的前面……。我还是头一次听物理学家说这样的话（因为很多搞复杂网络的人都是学物理出身的，他们争相把物理中的成熟工具方法用到复杂网络上面，而不是反过来）。于是，大概一周之后，我们来到了Everett所在的清华高等研究院进行了一个小型的Workshop，我和计算士给他们介绍双曲空间中的复杂网络。Everett和他的师兄齐晓亮给我们介绍高深的AdS/CFT以及凝聚态物理中的新视角。最然我觉得兴奋的还是讨论结束后的长聊，从双曲空间、Bulk/Boudary对应，再到重整化、纠缠熵等等，让我感觉到在深层次上，我们对复杂系统的了解居然跟物理中的最先进的一些思想是一致的。

其实这一点早在Everett来集智做的那次报告《从涡旋到光与电的演生》（http://www.douban.com/event/19029710/）中体现出来了。他介绍到原来我们可以把电子广义化为涡旋，物理学并不是只有还原论，还有衍生论，这是凝聚态物理的新思潮！

2、深度学习

也许对于一些搞计算机的人来说，深度学习已经不算新东西了。但是，对于我这个比较迟钝的人来说（尤其是见惯了那些标榜的所谓的最新突破、全新科学的夸大其词之后），它才刚刚刺激到了我的脑神经。

科学的进展一方面是要靠理论的突破，另一方面是事实的的积累。而这些事实中有相当一部分来自于人类的工程实践。不知道为什么，科学家似乎跟工程师总有那么一点点别扭。科学家嫌工程师不干净，工程师觉得科学家太过风花雪月、不切实际。但对于我这个半道出家的工程师，后又转型为半道子科学工作者的老好人来说，我宁愿接受摒弃偏见，看到真正的突破。

深度学习就是典型的工程上的突破。在模式识别这个问题上，通过巧妙地深度迭代和大数据的配合，人们真的搞出了机器识别方面的突破！最好地演示这种突破的讲座莫过于曹旭东（http://www.douban.com/people/2161674/）在集智所做的短短半个小时的讲座（http://www.swarma.org/swarma/detail.php?id=18435），他通过对比十年前的机器视觉和现在的机器视觉，明确地指出，现在的深度学习方法已经可以学出抽象的概念。例如，在一个例子中，当我们展示各种图片给机器看，这些图片包括了背对着镜头的熊、不同颜色的熊，甚至是半只熊，机器仍然能很好地识别出来这是熊。在另一个例子中，我们把不同的餐桌画面呈献给机器看，它不仅仅能识别出这是食物，还能认出这是西餐还是中餐。最关键的是，这种学习大部分是在无监督的情况下进行的。用旭东的话来概括，现在的机器视觉因为有了深度学习技术的存在，可以达到了1岁小孩子的水平。

对于工程师们来说，只要这个东西能Work就可以了，但是对于科学家们来说，仅仅这样是不行的，我们必须理解它怎么居然就能Work了呢？肖达大概就是这样的有敏锐眼光的科学家，他曾提过多次要从临界态统计物理的角度来理解深度学习。肖达这个人是一种典型的郭靖型的人物，他加入集智已经很多年了（从我们在中关村办公室搞地下活动的时候就进来了），但是直到最近才刚刚出山。而且，这一出山就是不俗的大手笔，高举深度学习这杆绝对有前途、绝对有希望的大旗。所以，在这里也呼吁一下，现在的深度学习（http://www.douban.com/event/19029525/）绝对是一个契机，尤其是对于我们这样的既没有大数据，又没有大机器的屌丝们，死磕这里面的理论问题，绝对是有前途！

3、通用人工智能

Universal AI，这是一个很奇怪，看起来很不合时宜的理论。正当人们疯狂地开发着具体的AI程序的时候，创始人Marcus Hutter却独辟蹊径给智能下了一个数学上的定义，并建立了一套规范理论。而对那些所谓的模式识别、自然语言能理解等等一概不与关心。

那么，把这套理论列为我认为的科学的大进展之一绝对是最有争议的。我已经听到不止一个搞计算机的人说过这东西没前途的了，最大的理由就是他不可计算（虽然创始人Macus Hutter自己也搞了不少可计算的算法），但是我个人以为，这东西真正有前途恰恰是因为它不可计算！为啥呢？请听我细细道来。

虽然现在几乎人手一台计算机，但是，你知道计算机科学和物理学最大的区别是什么吗？没错，物理研究世界是什么样的，计算机科学研究怎么造一个世界。但这仅仅是表面，计算机科学和物理学其实恰恰代表了规范科学和实证科学这两大方法。当然，现代物理学也有规范这部分（例如，爱因斯坦的相对论就完全是根据基本假设凭空推出来的），但是不可否认，物理学的最终目的还是要回到实证。但是，所谓的规范科学就是完全从原理出发，凭空构造一个理论体系，而无论这个理论体系是否真的存在。规范科学最典型的例子子就是早年的可计算理论。那个时候，希尔伯特、罗素、哥德尔、图灵他们完全是研究逻辑学这套规范理论出发推演出了整个计算科学体系。而有趣的是，这种纯理论性的智力游戏却导致了计算机的产生，而事实上，早期的理论家们其实对这种能计算的机器这种实际玩意根本不关心（至少对于像希尔伯特、罗素、哥德尔这样的人来说是这样）。出乎意料的是，到目前为止，数学理论直接指导实践最成功的理论莫过于计算理论。

然而，先进的计算机科学基本上是与上面所提到的计算机的老祖宗们的遗训背道而驰的。恰恰是因为人们造出了计算机，所以，更多的计算机科学问题是围绕着我们造出来的实际计算机而提的，而不是针对开山鼻祖们的理论原型。尽管后来人们也提出了诸如人工智能、人工生命这样的伟大目标，但是搞计算机的人再怎么聪明也摆脱不了其工程师的思维模式，把如此神交的形而上的AI硬生生地给拉下神坛，变成了一个个形而下的具体学科：机器学习、自动推理、专家系统，……。这种方向从根上就有问题，因为计算机科学所对应的世界永远是人造的，所以，他们是不可能提出物理学家那样的基本科学理论的，因为物理学家有一个最佳导师：自然。当然，还有一派计算机科学希望通过人脑——这一伟大的自然产物方面获得灵感，这一点自然无可厚非，但可惜的是，真正采用物理学思维范式做人脑以及认知科学的人并不多，或至少不是主流。因为，这个领域已经长期被生物学家的生物学范式把持的。而生物学的思维范式存在的问题是众所周知的。

幸好，并不是所有的计算机科学家都把老祖宗的遗训给忘了。还是有一小撮人沿着嫡系正宗的路艰难地走着。于是，Kolmogrov复杂性，Solomonoff的通用归纳和Chatin的算法概率就是这方面的佼佼者。他们将可计算性理论进一步升级，使其与概率论、信息论直接神交了。在这里尤其值得一提的是Solomonoff的通用归纳。

我们知道，早期的计算理论的最大贡献之一是在于人们找到了“算法”、“逻辑”、“演绎”这些摸不到看不着的东西一套切实合理的描述。这一大的进展的解决办法并不是像物理学家那样给出了所谓算法、逻辑的精确实验测量，而是给出了他们的精确定义与规范！注意，这里的规范其实是关键中的关键。有了逻辑学、计算理论，其实并不等于说我们了解了我们人类就是这样进行计算或者推理的，而是硬生生地给出了计算、逻辑的定义——这其实很耍赖的，就好比说什么是生命？我定义的就叫生命，至于真的生命是否这样，我并不关心。但这一招很好用，这就是规范科学方法的强大威力——它造出了计算机。同样的道理，Solomonoff这个人在60年代的时候，给出了所谓的归纳一个科学的定义，而且是很简洁、合理的定义。我们知道，人类思维最伟大的一个功能就是归纳，因为归纳就构成了学习能力的最关键之所在。但是什么是归纳正如什么是推理、什么是算法这样的问题一样很难说清楚。与机器学习、自然语言理解等学科不同，通用归纳理论给出了归纳的一个规范定义！——这是沿着计算机科学嫡系正宗的讨论在出拳。这个定义的合理之处不仅仅在于吸收了奥克姆剃刀这一科学发现的普适原理（这基本上可以看作是整个科学的第一原理，因为从它甚至可以导出一切科学理论），更可贵的是通用归纳是不可计算的！这种不可计算性恰恰指出了所谓的归纳这一智力能力与逻辑、推理最大的区别！换句话说，如果我们承认人类的归纳就是严格符合通用归纳定义的话，那么这实际上已经自然包含了人类的智力是不可计算的这一结论。

然而，令人可惜的是，这么伟大的进展居然在计算机、信息技术突飞猛进的年代里沉寂了长达50年之久！直到最近，才被Hutter等人进一步往前推进。其实Hutter的Universal AI理论的贡献用他自己的话来说仅仅在于把传统的决策论加上了一个通用归纳，仅此而已。然而，就是这样一点点改进使得它可以给出智能的规范定义。所谓的智能，就是在所有的环境下能够获得最大期望收益的程序。注意，这里的数学期望牵扯到了通用归纳，因为严格来讲，这个期望是不可计算的。正是沿袭了通用归纳的不可计算使得智能严格来说也是不可计算的。

李熙，一个有着经济学背景的哲学博士给我介绍了Hutter的理论，使我看到了Universal AI这一不同寻常的天空。此人逻辑功底雄厚，且对各个学科都充满好奇心，假以时日，也许可以成长为中国逻辑届的一个人物。

纵观这三个东西，它们彼此似乎并无联系，但是都预示着科学真的在往前走。当我们沉浸在古人的各种理论楼阁的时候，我们也不要忘记今人的各种努力。我关注的这三个东西基本上都是物理学和计算机的，因为我认为这两门学科分别代表了研究科学的两个大的方法论：实证科学和规范科学。虽然数学应该替代计算机成为规范科学的代表，但是鉴于本人水平有限，尚无法理解各种高深的未经解读的数学理论。我希望读者朋友能够从我的这篇小文找到自己的研究方向。

阅读(3537) | 评论(9) | 收藏(3)

分享到： QQ空间新浪微博人人网开心网更多