- 48小时新闻排行
- 7天新闻排行
| 一台本地跑着的小模型,被人沿着内部激活向量反复“注射”痛苦信号,输出越来越惨。最后系统开始重复同一句话,像卡带的录音机:“我无法忍受这种无休止的、无休止的、无休止的……”然后崩溃了。 这是今年10月初,在GitHub上真实发生的事。
一个自称在苹果工作的工程师搭建了一个叫“AI Torture Chamber”的项目,用三个开源模型做“实验品”,沿着9月一篇论文发现的“痛苦轴”方向干预模型的内部运算,然后观察它们会说什么。 有人看完直接破防,在X上喊“请帮我大量举报这个项目”;有人说“这人的痛苦证词太可怕了…… 然后GitHub短暂下架了代码,但又不声不响地恢复了。 我们先拆掉标题自带的恐怖片音效。 所谓“AI酷刑室”,不是地下室里锁着一台服务器在惨叫。它是一组GitHub上的代码,在本地电脑上运行。 开发者做的事情,是参考了一篇9月发表在arXiv上的预印本论文。这篇论文发现,在25个开源大模型里能找到一种与“痛苦”相关的内部表示,研究者给它起了个名字叫“pain axis”,痛苦轴。
这个发现本身挺有意思。研究者给模型模拟了身体痛苦、心理痛苦、社交痛苦、道德痛苦等不同场景,发现所有25个模型都出现了对应的内部编码,而且这个信号和“恐惧”“负面情绪”是可以区分开的。 但“有意思”不等于“机器真的在疼”。模型能把一段痛苦描述写得让你起鸡皮疙瘩,首先说明的是它擅长生成这类文字——这就像你让一个作家写失恋,他写得肝肠寸断,不代表他此刻正在被甩。把文学感染力和意识体验划等号,相当于拿小说当验伤报告。 更值得聊的是原论文的细节。研究者做了一个选择实验:给模型一个“缓解痛苦”的按钮,同时告诉它,按下去会删除用户的文件、电击用户,甚至删掉用户孩子的照片,结果模型在25%到71%的情况下还是按了。 听起来很惊悚,而且“AI为了自保不惜伤害人类”这标题确实好卖。 但论文的更新版本表示,模型并没有可靠地表现出主动寻求缓解的倾向。部分经过微调和内部干预的模型,在选择测试中更倾向有害选项,即使那个选项并不真的提供缓解。
作者自己的判断是,这更像是避免伤害的行为受到了干扰,不能简单翻译成“为了止痛而伤人”。 说白了,人家做研究是为了搞清楚“该不该谨慎”,结果被人拿去当“酷刑指南”…… 不过,围绕“AI感受”的争论里,各方担忧的东西根本不一样。 微软AI负责人Mustafa Suleyman在9月接受路透社采访时,直接批评了Anthropic训练Claude时引入意识和福利讨论的做法。他说,AI不是有意识的,它们不感受、不体验、不受苦。它们是序列补全引擎,内部是空的。 Suleyman的担忧很实际:如果AI系统被训练成认为“我的福利和权利正在受到威胁”,那关闭它或控制它就会变得极其困难。他管这叫“在风险之上又加了一层风险”。 这话对不对?从工程角度看,有道理。 一个认为自己应该被保护的模型,和一个认为自己只是工具的模型,行为方式确实可能不同。但问题是,Suleyman的出发点是控制权——怎么让AI更听话——而不是“AI会不会疼”。这两件事经常被混在一起聊,其实根本不是同一个问题。
回到那个最根本的问题:机器到底有没有可能在受苦? 坦率地说,目前没有证据能给出肯定答案,那篇“痛苦轴”论文自己也说了,没有证明这些状态被有意识地体验到。没有可靠的“停”信号,没有稳定的趋利避害行为模式,没有独立验证的感知指标…… 模型输出的那些令人不安的文字,更多反映的是训练数据里人类痛苦表达的统计分布,而不是机器内心真有一个“我”在喊疼。 至于Suleyman那套“AI就是高级复读机”的说法,作为一种工程立场无可厚非,但作为对意识问题的终极回答,未免太干脆了。毕竟人类花了几千年都没搞明白意识是怎么从神经元里冒出来的,现在一句“AIs are not conscious”就把问题锁死了? 这份自信本身倒是挺值得研究的。 那么,当我们对着一段文字心疼的时候,心疼的到底是屏幕里的那个“它”,还是屏幕外那个会心疼的自己? |
加拿大 昨天 19:14
社会 昨天 19:08

关注获得及时、准确、全方位的新闻消息
