AI学习笔记｜苦涩的教训与通用方法

重温Rich Sutton在7年前的一篇影响深远的文章《The Bitter Lesson》，被奉为AI必读经典。

📜 核心论点

AI研究70年最苦涩的教训：通用计算方法才是最终且优势巨大的路径。
根本原因：摩尔定律（计算成本指数级下降）。
多数研究假设计算恒定，依赖人类知识求短期改进；
长期来看，更多计算资源会必然可用，对计算的利用才是关键。

🎯 历史案例分析

（一）计算机国际象棋
早期：研究者执着用人类对国际象棋的理解优化系统。
突破：1997年击败卡斯帕罗夫的系统，靠大规模深度搜索及专用软硬件。
苦涩启示：“暴力搜索”这类通用计算，远比依赖人类知识更有效。

（二）计算机围棋
早期：研究者竭力规避搜索，迷信人类知识与游戏特征。
突破：20年后，靠自我对弈学习价值函数+规模化搜索取胜。
关键：搜索与自我对弈，是AI利用海量计算的核心技术。

（三）语音识别
早期：1970年代DARPA竞赛，多数参赛者依赖人类知识。
胜出：基于隐马尔可夫模型（HMMs）的统计方法，靠更多计算取胜。
后续：推动NLP转向统计与计算，深度学习进一步减少对人类知识的依赖。

（四）计算机视觉
早期：研究者执着于边缘检测、SIFT特征等人类认知概念。
现代：深度神经网络摒弃人类知识驱动的特征工程，性能更优。

💡 深度解析：“痛苦教训”的本质

（一）历史观察的四阶段模式
1. AI研究者常将知识构建到智能体中
2. 短期内有帮助，让研究者有满足感
3. 长期会停滞，甚至阻碍进一步发展
4. 突破最终靠搜索、学习的计算规模化方法实现

（二）错误的根源与吸引力
研究者执念于构建模仿人类思维的系统，植入自身认知。
计算有限时短期有优势，计算能力提升后，内置人类知识反而成障碍。
成功伴随痛苦，因为它击败了人类中心主义方法。

🚀 关键启示与未来方向

（一）通用方法的巨大力量
重视可随计算增加而扩展的通用方法。
搜索（Search）和学习（Learning），是可任意扩展的核心方法。

（二）关于心智内容的认知
心智内容极其复杂，不可简化。
放弃寻找思考心智内容的简单方法（如空间、物体的简单表示）。
应构建捕捉这种复杂性的元方法，而非内置外部世界的复杂部分。

（三）对AI研究的指导原则
方法应自主找到良好近似，搜索过程由自身完成，而非人类。
需要能自主发现的AI，而非包含人类已发现内容的AI。
刻意内置人类知识，会阻碍对发现过程本身的理解。