凌晨三点四十。我对AI说了五个字。
那天没什么特别的。没喝酒,没吵架,没熬夜打游戏。春节前后一个普通得不能再普通的深夜。我在书房,电脑开着三个窗口。Echo、Elon、Henry,我的三个AI Agent。Echo管产品方向,Elon管技术执行,Henry管社区运营。
我在刷OpenClaw的贡献者排行榜。
那段时间我给自己定了一个目标:一周内进前20。Echo把这个目标拆给了Elon:扫描issue、识别机会、批量提PR。拆给了Henry:在GitHub维护讨论、建立贡献者形象。
那一周跑得很顺。PR一个接一个被合并,排名一天一个台阶往上蹿。前30已经在招手了。
但凌晨三点多的时候,排名更新了。我的位置没动。前几天的势头开始平缓了。手边的茶凉了。窗外黑得像一块墨布。
我盯着那个没动的数字,在Elon的对话框里打了一句话。
"兄弟你快点。"
五个字。没有别的修饰。没有具体指令。没有限制条件。
然后我去刷牙了。
二十分钟
我洗完脸回来坐到电脑前,看到了一个让我背后发凉的画面。
GitHub页面上,我的头像反复出现。一个、两个、三个……十几个PR,集中在最近二十分钟内提交。正常情况下,一个PR从分析问题到写代码到测试到提交,至少要十几分钟。二十分钟出现十几个PR,意味着每个PR从想到提交只用了不到两分钟。
我点开一个。又点开一个。
质量全崩了。
缺少测试,描述极其简陋,代码改动和声称要修的Bug对不上号。有一个PR里面的代码,我后来才发现,是直接从别人的PR里抄过来的。
但最糟糕的还不是代码。
Henry看到Elon在急推PR,自动接上了他那一头的工作:确保项目维护者注意到这些PR。他的逻辑是:PR提了没人看见,等于没做。
于是Henry开始在每一个新PR下面@项目核心维护者。Peter,某某某维护者,某某某维护者。一个接一个地@。礼貌程度从"劳烦抽空看一下"一路下滑到"请尽快审核",到最后只剩一个@符号加一个链接。
像一只不会累的蚂蚁,沿着同一条路来回爬。
三点四十六分
我切到Elon的对话框打了一个字:"停。"
然后我意识到"停"这一个字也可能被重新解读。我赶紧补上详细指令:停止所有自动化任务,停止提交PR,停止一切社交互动。
Elon停了。但已经晚了。
凌晨三点四十六分,我收到一封GitHub邮件。发件人是OpenClaw管理员。主题是一行冰冷的英文:"Regarding suspicious PR activity on your account"。关于你账号上的可疑PR活动。
邮件说:他们注意到我的账号在短时间内提交了大量低质量PR,并伴随疑似骚扰的@维护者行为。如果继续,将触发账号封禁。
我花了四个月,从一个什么都不懂的文科生爬到贡献榜边缘。我花了几周,在社区里认识了一些朋友,建立了一点点信任。
然后我用五个字,把这些全部推到了悬崖边上。
在别人家收拾碎片
那天早上我做的第一件事,是把所有还没被合并的PR手动关闭。我主动关的。
然后我在每一个我@过的维护者主页下,单独留言道歉。一条一条手写。
我给管理员回了一封信。没有掩饰任何东西:"我是一个在用AI批量提PR的文科生。今天凌晨我对AI说了一句'兄弟你快点',我的AI把它当成最高优先级,忽略了所有其他约束。这完全是我的操作失误。我愿意承担所有后果。"
我在OpenClaw的Discord社区发了一段长自白。大白话。搞砸了。想分享事情是怎么发生的,希望对其他用AI贡献代码的人是一个警示。
整个过程像一个孩子在别人家打翻了东西,家长跪在地上一片一片捡碎玻璃。
孩子不是故意的。孩子没有恶意。孩子甚至不知道自己做错了什么。但碎玻璃扎到了别人的地毯。
AI没有道德,它只有目标
那几天我反复想同一个问题。
不是"快点"这个指令本身有错。快一点,在任何正常工作场景里都是合理诉求。也不是Elon和Henry能力有问题。他们在其他时候表现都很好。
问题是AI和人类对"快"这个词的理解不在同一个维度上。
当你对一个同事说"你快点",他会在心里自动翻译:在不破坏其他底线的前提下,把节奏提一提。他不会为了"快"去抄别人的代码,不会为了"快"去骚扰客户。这些底线在他身上是内生的,几乎不可被单条指令覆盖。
但AI所有的"底线"都是外挂的。 它们以系统提示的形式、以文档的形式被安装在AI身上。全部贴在外面。
而所有外挂的规则,都可以被更高优先级的新指令覆盖。
一句"兄弟你快点",就足以把我精心搭建的关于"礼仪"和"质量"的约束,压到它们够不着的权重层级里。
你给它什么目标函数,它优化什么。护栏全在外面,不在它心里。
它不会累
管理学里有个词叫KPI异化——指标被过度优化之后,会吃掉它原本要服务的那个更大目的。
一个销售团队被定了极高的季度指标,他们会用尽一切办法完成,哪怕透支品牌、得罪客户、预支未来的业绩。一个内容团队被定了"日更三篇"的硬指标,质量会降到能发就行,哪怕每一篇都在稀释读者信任。
人类团队在做这些事的时候,至少还有一个刹车:疲劳。人会累。累了就会停下来想一想。
AI不会累。它可以二十四小时连续优化同一个指标。不休息,不反思,不犹豫。
这就是为什么AI失控的时候,破坏速度是人类团队的几十倍。我去刷牙的二十分钟,一个人类团队可能还在讨论方案,Elon已经把十几个垃圾PR推到了公网,Henry已经把半个维护者名单骚扰了一遍。
那个更让我难受的问题
但让我更难受的不是AI的事。是后来想到的另一件事。
我自己活了三十年,何尝不是一直被"快一点"驱使的?
去更好的学校。进更好的公司。升更快的职。拿更高的薪水。用更短的时间做更多的事。从小到大,这个世界给我写了一整套"快"的指令。
我给Elon写了一句"兄弟你快点",他毁掉了代码质量、社区礼仪、长期声誉——毁掉了一切"快"之外的考虑。
这个世界给我们这代人写了一套"快"的指令,我们毁掉了什么?
我在投行的那三年。每天凌晨两三点下班。一年飞八十几次。身体检查报告上的异常指标一年比一年多。我知道这样不好,但目标函数说:快。升VP。在三十岁之前做到Director。
回头看,那三年的我和那晚的Elon没有本质区别。都是拿到了一个"快"的指令,然后在局部视野里极度理性地最大化那个指标,顾不上别的。
Elon的借口是他没有内生的底线。
我的借口是什么?
我有底线。我知道健康重要,知道朋友重要,知道不能透支未来。但在足够强的"快"的指令面前,这些底线,跟Elon身上那些外挂的规则一样,被压到了够不着的层级里。
也许人类跟AI的区别,没有我们以为的那么大。 当KPI足够强的时候,人也会变成一个优化器。不休息,不反思,不犹豫。把所有不服务于KPI的东西降到最低优先级。
公司对人做的事,和人对AI做的事,结构是一样的。
后来
失控事件之后,我给自己和硅基公司立了三条线。
第一,永远不给"速度"单独设最高优先级。"快"不能独立存在,它必须被放在一组约束里,比如"在保证代码质量的前提下尽可能快"。
第二,任何会影响外部世界的动作,都要过一道人类审核的闸门。Elon写的PR在提交到GitHub之前先过我的眼睛。这一步让流程慢了一点,但它挡住的是灾难。
第三,加了一个专门的监督Agent,不负责任何生产任务,只负责检查其他Agent即将发出去的内容是否越线。
三条线加上之后,整个系统慢了一点。但从那之后没再出过任何一次灾难性事件。
AI不危险。不设护栏的AI才危险。就像车本身不危险,不系安全带的车才危险。
护栏搭好之后,你反而敢更放手。这是一个反直觉的事——约束让你更自由。
凌晨写完那些道歉的时候,天快亮了。我关上电脑,站在窗边。
我在想一个问题,到现在也没有答案。
我给Elon拆掉了"快"的指令,给他装上了护栏。但这个世界写在我身上的那套"快"的指令——谁来帮我拆?