机器之心报道
编辑：冷猫、Panda
强化学习之父、2024 年 ACM 图灵奖得主 Richard Sutton 今天分享了他在 RLC 2025（强化学习会议） 和 AGI 2025 上发表的远程演讲《OaK 架构：一个基于经验的超级智能愿景》。
演讲中，Sutton 介绍了他认为有望实现通用人工智能乃至超级智能的路径：
他回顾了长期以来对简单且通用的 AI 智能体架构的追求强调了从经验中学习、拟合世界的重要性介绍了现有的常用智能体模型的架构及其缺陷最终引出了演讲主旨：OaK 架构。
展开剩余70%Sutton 在介绍 OaK 架构的基础上，也对实现 OaK 架构所需的八个步骤进行了详细拆解，并指出了目前未能实现的部分和可能的发展路径。可谓干货满满。
虽然说 OaK 架构并不是目前能够实现的完整算法或管线，只是一个愿景，但是 Sutton 为 AI（尤其是 AGI）的发展拆解了目标，提供了一张清晰的路线图和研究目标。
机器之心对 Sutton 的这次演讲进行了整理，以飨读者。
视频地址：https://www.youtube.com/live/XqYTQfQeMrE?t=22620s
OaK 架构目前还只是一个愿景，尚没有完整的算法，它还需要一些尚未实现的先决条件。这个先决条件就是一个能够不断学习和提升的深度学习算法。让我惊讶的是，到目前为止，我们都还没有这样一个算法。
在开始之前，我想介绍一下我创立的 Openmind Research Institute，这是一家研究与心智相关的强化学习方法的研究所。如果你是对此方向感兴趣的年轻人，可以考虑申请加入我们。
下面正式进入主题。这是本次演讲的提纲。
首先，我要介绍的是我追寻的目标 —— 一种简单且通用的 AI 智能体架构。然后我将介绍如何在这个大而复杂的世界中学习，之后将进入 OaK 架构本身以及超级智能的愿景。
Sutton 追寻的目标
我追寻的目标是一种简单且通用的 AI 智能体架构。
「通用」是指该架构不包含特定于任何世界的东西，因此其中不包含任何领域知识。
然后，该架构需要是「经验的（experiential）」，也就是说，它会随着运行时间经验（如上图右侧小图的红色箭头所示）而成长，而不是仅仅依赖某个专门的训练阶段。
具体来说，「经验」是指一种未经标注、未经解释的信息。由于我们追求的是通用设计，因此这些信息不包含任何与特定世界相关的内容。「观察」就只是一些信息、事物之间的差别，智能体需要通过自身的体验去理解和解释这些信息。
最后股票配资平台最安全，也可能是最重要的一点，是「开放式抽象（open
发布于：北京市