《驭天演算法》（Master Algorithm）的作者多明格斯（Pedro Domingos）说：「所有的知识，过去、现在、将来，都终将可以由单一的通用学习演算法处理资料而成」，这个单一的通用演算法就是「驭天演算法」。

如果「驭天演算法」一旦出现，人工智慧很有可能遭遇到经济学者李察．布克史塔伯（Richard Bookstaber）在《理论的尽头》中所描述的四大难题。他在书中提到，人是最活跃的自由因数。随着人工智慧社会的到来，人与人互动而造成的复杂现象会超过人工智慧本身的技术解释能力。

难题一：「渐显现象」

第一个是「渐显现象」的难题（emergent phenomenon）。「渐显现象」在自然界中普遍存在，天空中群鸟齐飞就是一种「渐显现象」。软体工程师雷诺兹（Craig Reynolds）建立了一个模型，解释鸟类群飞的形成规律：（1）保持与其它鸟之间的距离。（2）保持与邻近的鸟伴一致的速度和方向。（3）总是努力靠近群鸟的中心位置。结论是，「渐显现象」也是有规律可循，不过它的规律不是那么精确细腻，更体现一种粗犷的、大致的、灵活的指导性原则。科学家称之为鲁棒的（robust）、启发式的（heuristics）指导原则。

如今，人工智慧已经把鲁棒式、启发式认知原则结合到最新的深度学习之中。然而，人工智慧的一个策略盲点恰恰就在它对鲁棒式的、启发式的直观原则精细化演算法中。它把原本非理性的成分统统理性化了。

社会「渐显现象」有三个要素，它们本质上显示渐显过程的不完美性和不可操纵性。第一，作为个体的人是自由因数（agent）。例如，金融危机时，个体逃离行为造成市场践踏，产生救市的反效果。第二，鲁棒式的、直观启发式的原则之所以存在，就是因为有容错的进化要求。例如，类似孔雀以开屏择偶，选择新兴的软体产品时，使用者企业倾向于追随行业大户，因为这个鲁棒的直观原则有代表性的资讯优势。第三，渐显现象的直观启发原则稳定，但内容和过程形式有各种变异，因为人的愚蠢性往往只有到现象显示成形后才能被认知。例如，类似2008年的金融危机在历史上发生多起，只不过内容和过程有差异。而人的愚蠢性是人性的一部分，不可剥离。

可是，人工智慧在深度学习上的发展已经改写了社会「渐显现象」的上述三要素：（1）闭环回馈、反刍式学习系统可以不断修改历史经验，去除历史判断的「错误」。（2）经过精细化分析，鲁棒式的直观启发原则已经异化，失去它们在有机生命进化过程中的原始作用。（3）「愚蠢性」只会在演算法里出现一次，不会重复，因为历史经验可以在闭环回馈中修改。

这样一来，社会互动可能成为演算法的「奴隶」！渐显现象可以完美化，可以被操纵，待到超级智慧出现，我们是否会怀念愚蠢的价值？

难题二：不可减约性

第二个是不可减约性（computational irreducibility）的难题。在《理论的尽头》中，布克斯特伯这样解释，用比例缩减的方法，地图代表表现所覆盖的地貌，但是，如果有一种地貌，缩减了就失真，只能原貌理解，那它就有计算上的不可减约性，地图非得和地貌一样大。

著名的「生命游戏」为理解不可减约性提供了一个生动的参考。20 世纪70 年代，数学家康威（John Conway）设计了一个「生命游戏」（game of life）。它模拟细胞自我复制的过程。游戏本身只有简单的规则（演算法）。他要研究同样的规则和重复的过程是否能产生同样的结果。实验答案是否定的。你必须经历过整个自我复制的过程才能看到最后结果。即使演变规则和过程确定，结果状态仍然无法事先决定。

今天的人工智慧技术发展体现在演算法、硬体、云计算、大资料、网路这五个方面。但一个严重的问题是，目前人工智慧在应用领域只强调单项功能优化，未能保持跨学科融合。忽视「不可减约性」，就不能体会坚持跨学科融通的重要性。「生命游戏」证明每一次生命产生不可减约。就像假设中无法用地图缩减的地貌，无论演算法多么强大，它难以减约八个学科交错影响的过程。除非保持跨学科融通，下一步人工智慧发展必定发生荒诞现象。

难题三：极端不确定性

第三个是极端不确定性（radical uncertainty）的难题，即我们常说的「无知的未知」可能带来灭绝危机。对人工智慧隐藏的极端不确定危险，牛津大学的博斯特伦（Nick Bostrom）假设四种发展前景：AI 为工具，AI 为专业领域的专家系统，AI 为超人的任务执行者，AI为具备超级智慧的独立主体。后两种情形，无论是超级执行者或超级智慧主体，都可能给人类带来极端不确定性的危险。

博斯特伦的研究表明，超级智慧诞生也许是一个百年的历程。可是，一旦越过意愿的门槛，即人工智慧有了自我意识，它就会以人类意想不到的速度和方式获得决定性的战略优势。到那时，人可能被机器奴役，可能被超级智慧改写意识和潜意识，可能成为杂交的新认知物种，也可能世界大同、合作共存。几种情境中，人性被改造的可能性最高。

事实上，即便在目前的弱人工智慧阶段，它已经有了不可控的因数。深度学习中有「监控的学习」和「无监控的学习」。后者依靠人工智慧的内部自我组织优化旧知识、制造新知识。所谓「人的最后一次创新」就是指创造出从此可以自我组织新知识的人工智慧。在这一奇点之後，「控制」是一个过期的词。如何与超级自由因数合作共存便成为人类不得不做的选择。

难题四：社会价值与能力非均质分布

第四个是社会价值与能力非均质分布（non-ergodic society）的难题。通俗地讲，「均质分布」指大资料分析总结出来的规律对整个人口有普遍适用性。例如，在公共场合的某些综合行为特征预示犯罪倾向。这个规律被纳入演算法，并假设它普遍适用于预防犯罪的人工智慧中。可是，具有能动性的人与社会始终处在开放的、随机的变化中。被强制的「均质分布」掩盖诸多社会价值和能力的「非均质分布」特征。它与「贼的儿子是贼，法官的儿子是法官」的偏见没有本质区别。
人工智慧给社会各个阶层带来的冲击是非均质的，不是每个阶层都同意的。即使人工智慧被社会大多数拥护，对少数人的剥夺是一个不可让渡的权利问题。

人工智慧引发的统治关系的改变是非均质的。第四范式的创始人戴文渊生动地描述了他们「先知系统」的潜在力量：让牛顿和爱因斯坦失业！它出现後，一个领域内的商业竞争便化为「政治统治」，即从价格关系转换为知识权力关系。在商业统治与被统治关系下，企业意愿不可能一致，对超级演算法的合法性一定有不同立场。

人工智慧还有国与国之间、种族之间、当代人与未来人之间的非均质分布难题。我们的社会价值和能力偏好，会影响到对人工智慧发展道路和程度的选择。但这不一定是其他人甚至下一代人愿意做出的选择。