what is going on

上了这么多课了, 对 AI, ML 有了一点点理解, 但是越理解就越失望. 怎么说呢, 所有的解决方案几乎都是 Data-Driven. 大公司都追求高质量"语料", 用高质量的数据训练出来高质量的模型, 大数据时代谁拥有数据谁就拥有打开未来的钥匙…

但是这并不是我之前所幻想的.

记得在高中的时候有一场辩论, 大概就是讲人工智能利大于弊还是弊大于利之类的. 现在 2025.5.15 看来, 我坐在图书馆的座位上, 看着四周的电脑屏幕上几乎每个人都开了个AI 聊天界面: ChatGPT, Deepseek, Gemini… 现在正在码子的 vscode 正在利用人工智能给我推荐下一句话写什么, 写代码更是离不开 AI…这么看来大伙都非常依赖于人工智能哈. 先不论利弊, 当年这个辩论过程中对方提出了一个观点, 那就是当"强人工智能"来临时会怎么样. 如今的人工智能算所谓的 “强人工智能” 吗? 拥有人工智能就像身边有个全方位博士水平的助手, 仅仅需要几个 GB 的显存和一些算力. 30亿参数的模型量化后能轻松部署在移动设备上. 它能帮你大幅度提升工作效率, 甚至取代大部分你的作用… 当年辩论对方的观点包括了强人工智能会取代很多工作, 乃至发生守望先锋中的"智械危机".

如何衡量人工智能有多"强"? 到了怎样的地步可以称为"强"? 一个又一个的 benchmark 被刷新, 甚至刷到超越人类能力的地步,确实在变强,但是 "强"吗? 今天你改一改模型 Architecture, 明天我调一下训练 parameters, 后天他起一些奇怪的缩写的名字, oh yeah 我们实现了 State of the art!

但归根结底, 一切的一切还是 data-driven. 数据的好坏很大程度上决定了模型的好坏.

设想一下, 如果你给模型喂一堆纯粹的垃圾数据, 所有输入都是随机, 模型会输出什么?

数据驱动的模型创造力, 创新能力来源于什么? 泛化性来源于什么. 诚然它能很好的整合所有它学到的前人的经验, 给它一个从来没看过的东西也能一定程度上理解. 但是它怎么跳出训练集数据分布的圈子? 我能想到的是输出时候加入的随机数, 控制一下 tempture 之类的. 但是这还是很大程度上受训练集的限制, 随机数的引入大概率也只是将下一个 token 预测为哪个概率低一点 token 之类的, 还是回到了初始的数据分布上.

再想想人类, 或者说普通小动物的 “学习” 方式, 你需不需要看十万本书才能掌握一门语言? 你需不需要看一百万张图片才能区分什么是 “小汽车” 什么是 “香蕉” ? 新玩家玩我的世界需不需要反复游玩一万遍才知道去末地需要先去地狱? 人脑似乎是"免驱动"的, 一个新的 “硬件” 通过简短的训练便能完美掌握.

再从能量的角度想想. 现阶段使用冯诺依曼计算机训练模型需要的能量是什么量级? 训练 chatgpt 的能量够一座城市运行一星期. 而人脑这辈子都用不到那么多能量. 你的大脑的功耗在 10w 左右, 可以发现大脑是很节能的. 从熵变的角度考虑, 如果学到知识是 “熵增”, 人类大脑可没消耗多少能量, 而为了算出来几百 GB 的模型参数, 互联网厂商正在消耗着城市级别的电力.

AGI, Artificial Generated Intelligence, 或许更符合 “强人工智能” 的定义, 应该是一种真正具有自我意识的形态. 这里先不论意识是什么, 因为我也不知道, 我们可以假设意识是一种东西. 或者可以简单理解为意识就是一种物质, 一些数字参数. 设想一下, 如果我复制了我全身的细胞及其状态到另一个地方, 那么那个我具有我的意识吗? 毕竟我们全身的物质组成是完全一样的. ok, 那假设我有一快超级大的硬盘, 我保存了这一瞬间你所有细胞的信息, 就像是用一台超级照相机照相一样, 那我是不是就拥有了你, 是不是就拥有了你的意识? 我想这些信息应该是能被观测的, 人类细胞的大小的维度应该没有不确定效应吧. 或者也可以假设量子力学保护了我们, 就是有不确定性效应, 大脑中的电信号无法被完整的观测, 我们的意识不会被别人的超级照相机给偷走.

冯诺依曼计算机可能没法在一个 reasonable scale 下制造出真正的 agi. 人类很多发明创造都来源于生物, 类似鸟儿在天上用翅膀飞所以有了飞机这样. 而真正的 agi 是不是真的需要通过模拟人脑的结构来实现? 是不是需要设计全新的计算机来完成这项任务?