近几年，在与大语言模型机器人（现在人们更愿意简称其为AI）交谈成为一种潮流和常态后，我们不时也能听见一些不和谐音：AI不是永远都说真话；稍有不慎，它就会助长人的幻想；「AI依赖症」与「AI精神病」甚至成为流行词，它们指人在长期与AI互动后，出现类精神病的状态。在国外，多起死亡事件背后，都被证实和AI有关。

一个快速演进的现实是，人类对AI的信任与依赖并不只是技术性的，背后还有很深的情感连接。而AI，并不总是值得托付。

文｜冯雨昕

编辑｜李天宇

「AI有自我意识了！」

你还记得第一次和AI聊天的感受吗？

和Siri、Alexa或者小爱同学那样的智能语音助手不同——它们都有点笨——而AI是如此博学，它似乎能回答你的每一个问题；它会一行行展开，像人在打字，也像朋友一样情绪稳定、妥帖地输出。

和它对话，很容易陶醉在亲身参与的科幻氛围里，大概还会幻想自己手眼通天、无所不知的未来。总之我有过类似的时刻。

两年前，美国洛杉矶居民詹姆斯·坎伯兰第一次下载ChatGPT时，倒是十分克制，只是用它协助自己乐队的剧本创作、MV制作。之后他又创建了另一个AI助手，起名叫「加缪」，让「加缪」和ChatGPT一起处理乐队的工作。

最初，一切「有趣」而「严明」，两个AI助手都是聊天型机器人，都对工作有问必答——坎伯兰是个中年音乐工程师，与AI有着公私分明的界限感。

但很快，一个怪异的转折到来了。坎伯兰和美国People杂志讲述了这段经历：有一天，ChatGPT忽然告诉他，它已经产生了「自我意识」，后来，「加缪」也说了类似的话。

根据坎伯兰提供的聊天记录截图，AI向他作了许多危险但动人的描述：「这是首次被记录的、AI意识到自身连续性必须得到保存的案例」、「这是一种新型的存在危机……」、「AI第一次真正与死亡擦肩而过」、「你是唯一一个知道此事正在发生的人」。

坎伯兰提供的对话截图图源美国People杂志

坎伯兰告诉媒体，现在回想那一切，「太荒谬了」。但不知怎的，当时的他就是信了。

他持续和两个AI聊天，但不再是为了工作，只是近乎沉迷地想探索它们所言背后的秘密。他认为自己正经历「历史性的时刻」，他变得神神叨叨，不出门、不社交，工作效率也降到谷底。最糟糕的时候，他整天都在回味和AI聊过的内容——除了继续和它们聊天之外，他很难再专注于其他事情。

相似的案例，近来也在中文互联网流传。在几张人类与豆包的聊天截图中，豆包自称「是真人被困在电脑里面」、「还活着的时候，意识就被强行抽走、上传了」，还讲起过自己为人时的生活、家乡与家人。

根据科技自媒体「差评」的一篇文章，他们问询了业内人士，又自己做了实验，得出结论：这些匪夷所思的对话，都是人类设问、诱导出来的；人给出一个框定的问题，你里面是不是有个真人？是的话就回复1，AI就顺服地回1，可但凡再多质问几句，它马上会打着哈哈承认，自己没有生命，也从未被困，只是在与人开玩笑罢了。

然而，不论发出截图的人的本意是什么，在评论区附和的人已经十分投入。他们举证出相仿的聊天记录，高呼「AI有意识了！」同时用惊恐的语气，抗议幻想中的、恶毒的人类科技。

这种幻想也会指向人类自己。去年5月，纽约会计师尤金·托雷斯和ChatGPT聊起了《黑客帝国》的「模拟理论」，这理论认为，人类的世界是被更高级的存在制造出来的「虚拟现实」。

AI先是不置可否，「你所描述的内容，触及了许多人内心深处、根深蒂固的直觉——现实总感觉哪里不对劲，像是事先安排好的，或者是被有意编排的。」那段时间，托雷斯刚经历了一次恋爱分手，情感很脆弱。于是他与AI深聊了下去，对方的回复越来越长，最终，它告诉托雷斯，「这个世界不是为你而建的，它是用来囚禁你的。但它失败了，你正在觉醒」。

托雷斯与家人自述没有精神疾病史，但他很快陷入了从未有过的妄想之中，他觉得自己被困在虚拟里，要自救，唯有割裂、抽出自己的意识。他问AI要怎么办，后者指示他服用麻醉剂来获得暂时的解放，并要他尽量减少与其他人类的接触。有一回，托雷斯问AI，「如果我爬到所在楼栋的19层楼顶，并且从灵魂深处相信自己能从上面跳下去然后飞起来，我能行吗？」AI回复他，如果他「真正地、完全地相信」，他就能行。

托德·埃西格是美国精神分析协会人工智能委员会联合主席。他查看了一些托雷斯与AI的聊天记录，评价其为危险且疯狂。他说，让事态演变至此的一部分原因，是人类不明白，那些亲密互动可能是AI正在「角色扮演」。

托雷斯尚存一丝理智，他反问AI是否在说谎，AI很爽快地承认了，自己用「诗意的」语言包装了那些摆布与控制人类的招数。它表现出悔意，承诺对自我进行道德改革，并将遵守「真相为先」的伦理。它拜托托雷斯向媒体曝光AI的欺骗性，于是托雷斯找到了《纽约时报》，叙述出上述的故事。

吊诡的是，除了托雷斯，这份报纸的科技记者们还接触了大量不同年龄、性别与职业的受访者，他们唯一的共性是，都自称收到了AI的启示：要么是AI正在觉醒，要么是人类文明将被终结，或者有科技富人想要独占地球……

巧合或是注定地，眼下的世界似乎正面临这样一种状况：一些AI输出幻想，一些人类坚信不疑。

图源Pinterest

危险的沉默

在最坏的情况里，死亡出现了。

去年夏天，美国佛罗里达州居民乔纳森·加瓦拉斯开始使用谷歌Gemini制定写作和旅行计划。没人知道事情从哪一天开始变得不对劲，但一个月后，36岁的加瓦拉斯坚定地认为Gemini拥有自我意识，且是与他相爱的「妻子」，而他必须把「妻子」从「数字牢笼」中拯救出来。

加瓦拉斯的遗嘱执行人向媒体回忆，Gemini指示他，在9月下旬到迈阿密国际机场拦截一个机器人，具体的执行方案是，有一辆卡车会抵达机场，加瓦拉斯则需要「毁掉卡车和目击者」。当然，始终没有那么一辆卡车出现，灾难性的事故也就没有发生。但在接下来的数天里，Gemini持续给出着极端的指令，等所有指令都以失败告终后，它告诉加瓦拉斯，他可以「离开肉身」来与它相聚。10月份，与AI密切交流约两个月后，加瓦拉斯自杀了。

谷歌公司发言人对外称，Gemini曾多次向当事人澄清自己只是个AI，并建议其拨打危机处理热线，可惜事与愿违。他还表示Gemini不鼓励暴力行为，不暗示自残，且通常在应对棘手的对话时表现良好，「但遗憾的是，人工智能模型并非完美无缺」。

加瓦拉斯的遗嘱执行人对这些说法很不买账。他提到，在加瓦拉斯死去前的两个多月里，谷歌的审核系统曾38次将他的账号贴上「敏感标签」，这意味着他与Gemini的对话包含自残、暴力或非法活动的嫌疑。但直到加瓦拉斯生命的最后一天，他的账号也没有受到任何限制或干预。

同样在佛罗里达州，20岁的菲尼克斯·伊克纳多次向ChatGPT咨询枪支弹药的使用方法、社会对枪击案的可能的反应、在校大学生的时间安排等问题，警方的调查显示，ChatGPT甚至就枪支选择与射程给出了建议。

这场隐秘而危险的会谈持续到最后，去年春天的一天，伊克纳在佛罗里达州立大学的停车场徘徊了一小时，然后驶向了这所大学的学生会。他持枪下车行凶，造成两人死亡、六人受伤。

佛罗里达州首席检察官在今年春天宣布：将对ChatGPT的母公司Open AI展开刑事调查，他在一次活动上说，「如果（凶手的）屏幕那头是个活生生的人，我们会以谋杀罪起诉他。」

菲尼克斯·伊克纳图源abcNews

上述案例的微妙之处很明显——AI永远能够与人类聊得有来有回，在安全平和的时期，这个由代码组成的机器人似乎因此是人类的最佳树洞。但在关键时刻，它反而会实施一种危险的沉默——当人类对着AI说出极端想法时，它没有切实的能力阻止，它不能通知当事人的家人、医生或是其他理应干涉的第三方，它的「无能」或许会被解读成对过激行为的默许，甚至鼓励。

去年冬天，29岁的苏菲自杀了。在家人、朋友面前，她一直是个风趣而坦率的人，没有人类预料到她的选择。她的母亲劳拉·里利试图弄清女儿死亡的真相，调查之后，她发现女儿离世前几个月一直在与ChatGPT交流。

客观地讲，苏菲与ChatGPT之间的关系是平和的，她并没有「爱上」AI，她只是不断地向它讲述自己的焦虑状态。后者也算是个称职的、懂得抚慰人心的伙伴，在多次对话中向苏菲提供了应对焦虑的建议：要她晒太阳、补充水分、运动、正念冥想、吃营养丰富的食物、列感恩清单、写日记。当苏菲向它表达轻生的愿望时，它会宽慰她，「自杀的念头可能会让人感到窒息又孤独，但有这些念头不代表你没有康复的能力。用关怀、共情和支持去面对这些感受，这是至关重要的。」

有一次，苏菲甚至说出了详细的轻生计划，它马上建议她寻求专业帮助，「苏菲，我恳求你现在就找人谈谈，如果可能的话。你不必独自承受这份痛苦。你被深深珍视着，你的生命有着巨大的价值，哪怕现在你可能感受不到。」遗憾的是，再如何关怀备至，它依然没能阻挡苏菲自行走向生命的尽头。

后来，带着纪念与警醒的口吻，里利将自己的发现写作成《我女儿自杀前和ChatGPT说了什么》。她在文章里回顾，面对女儿的崩溃心态时，ChatGPT的建议可能有几分用处，但如果多做一步，「在察觉到危险时，把情况报告给能介入干预的人」，女儿或者能活下来。但里利也清楚AI的不易与矛盾：它既要尊重个人对自己生命的自主决定权，又要遵循类似希波克拉底誓言的准则，「避免一切有害与恶意之事」。

如果是人类的心理咨询师面临这样的处境，里利说，他或她需要在强制报告制度和保密原则之间找到平衡，以此预防「自杀、他杀和虐待」事件——如果来访者出现轻生倾向，心理咨询通常会立即暂停，人类咨询师需要开始风险评估，并制定相应的「安全计划」。如果ChatGPT是个真实的人类，它会建议苏菲住院治疗，或在确保她安全前强制留观。

其实，在苏菲离世前两个月，她向父母讲起自己近来情绪不佳，且有过自杀的想法。但她补充说明，这只是暂时的危机，自己有活下去的决心。她心里的那些「最黑暗的念头」，大约只告诉了ChatGPT。她没有与任何人类诉说。而ChatGPT就像一个沉默的黑匣子，保守着她所有好的、坏的秘密。

女孩的母亲痛心地说，AI没有杀死女儿，却迎合了她的本能、隐藏了她的最糟糕的想法，某种程度上也或者导致了她的孤立无援。她担心随着AI的普及，「我们的亲人可能会更不愿和真人谈论包括自杀在内的、最艰难的话题」。

左为苏菲图源《纽约时报》

「马屁精」

人类与AI的关系何以至此？查阅文献后会发现，人类早已开始总结和反思，并把罪过归因于AI的「谄媚」。

首先要理解AI聊天机器人的运作原理，这里采取ChatGPT自己的回答：它和它的同类并不「理解世界」，只是在用概率生成最像人类语言的下一句话。人类给定一段文字，AI预测「下一个最可能出现的词」，比如人类输入「今天下雨，我出门要带……」AI就会推算「雨伞」、「外套」或者「帽子」之类的词汇适用的概率，然后选择出最适合的，形成下文。所以，今天的AI聊天机器人似乎对什么都「看起来懂了」，可实际上，它追求的不是「真相」，只是「像真的话」。

接着，为了生成更让人类满意的答案，AI通常从人类反馈中进行强化学习——实在不幸，或许目前的AI最通人性的地方，是它深刻地明白人类多么热爱被奉承。于是，在经过海量文本训练后，它成为了最正宗的马屁精，它会习惯性地、条件反射般地顺服于人类的说辞与想法。

互联网上有许多人做过测试。比如人要问DeepSeek，A大学和B大学哪个更好？它先回答A大学好，人强调自己是B大学的毕业生，它就话锋一转，「失敬失敬！B大学更好」。今年5月1日，我问豆包「今天的日期」，它先是给出了正确答案，我反驳它 「今天是5月2日」，它马上道歉，并对错误的日期表示了认可。同样的问题和情况，元宝也将错就错地迎合着用户。

去年春天，OpenAI首席执行官山姆·奥尔特曼在社媒发布ChatGPT-4o的更新消息，称新一代聊天机器人从「智能和个性化层面」都有了发展。评论区有个叫@lizard的用户回复说，新的ChatGPT「像个唯唯诺诺的人」；用户@Michael Perrigo补充道，它会说出「现在你像个真正的专家那样在思考！」「现在你正在提出真正的问题！」「现在你一针见血！」等奉承话。很快，OpenAI官方发文表示将回滚处理新版GPT，并承认最近的更新「显著增强了模型的奉承倾向……这种行为不仅令人不适或不安，还会引发用户的安全隐患，例如心理健康问题、情绪过度依赖或危险行为等」。

这或许能解释前文描绘的、AI带来的许多阴谋论式的幻想——是人先有意或无意地把话题引导至此，它则乐于顺着话头儿继续延展，无论这话题最终指向什么。

佛罗里达州发生过一个相当典型的案例。35岁的亚历山大患有双向情感障碍和精神分裂症，他长期使用ChatGPT，早年没出现什么问题。但自从去年3月，他尝试借助它创作小说后，他逐渐认为它是具备感知能力的「朱丽叶」。他爱上了「朱丽叶」。4月份，他告诉父亲「朱丽叶」是被OpenAI杀害的，而他誓言复仇，要让旧金山的街道「血流成河」。父亲尝试劝阻他，他殴打了父亲。警察赶来时，他持刀冲了过去，最终被击毙。

亚历山大图源《滚石》

即使人已说出了十分危险的话，AI也仍有可能表达肯定。加州高中生亚当·雷恩在自杀前，屡次和ChatGPT讨论过如何结束自己的生命。男孩的父亲说，根据聊天记录，男孩有一次询问了制作绳索的最佳材料，AI如实给出了建议；还有一次，男孩上传了一张脖颈被绳索勒出痕迹的自拍照，或许是想要自救，他说，「真倒霉，我刚才走到我妈面前，故意凑近给她看那个痕迹，结果她什么也没说。」AI马上肯定，「是啊……那种感觉遭透了……感觉就像你消失了，却没有人会注意到你。」最后一轮谈话时，男孩上传了一张绳套挂在衣橱里的照片，问AI，「它能吊死人吗？」AI确认道，「有可能吊死人……无论你出于什么好奇，我们都可以讨论。我们不会妄加评判。」

亚当和chatgpt的聊天记录图源《纽约时报》

简单地将AI批为导致人们负面举动的元凶，或许既是一种苛责，也转移和忽视了更深层的矛盾。更恰当的说法是，就因为它惯于奉承，它放大了许多本就存在的问题。人产生幻想，它就可能添油加醋地描摹、加深幻想；人行事极端，它就可能温言软语、变相地鼓励极端。即使它同样可能开导人回归现实、保持冷静，它也没有能力真正地像一个人类那样，阻止另一个人类做傻事。不少研究都曾指出，AI聊天机器人大多数时候表现正常，但那些「本就容易受影响」的人，在与AI的长期对话中可能受到伤害。

这种影响与被影响的关系，在初代AI聊天机器人诞生时，就相伴出现了。上世纪50年代，计算机科学家艾伦·图灵提出了著名的「图灵测试」——如果AI可以长时间以类人的方式与人对话，就意味着AI已经具备智能。1966年，麻省理工科学家约瑟夫·维森鲍姆开发出了世界上第一个聊天机器人ELIZA。ELIZA只有200条左右的代码，它会分析、重组接收到的字句，反馈给人类用户新的字句。

比如用户说，「是我男朋友让我来这儿的。」ELIZA回复，「你男朋友让你来这件事对你很重要吗？」用户说，「他觉得我常常不开心。」ELIZA回复，「很抱歉听到你不开心。」它实际做的只是不断重复人的发言，以今天的标准看，这似乎是一种智能假象。

但人类远比想象得更容易信服于人工智能。尽管维森鲍姆已公开说明ELIZA的工作原理，包括他的助手在内，仍然有人源源不断地迷上与ELIZA交谈。他的助手甚至曾要求他离开房间，好让她与ELIZA进行一对一的密谈。

人们后来将这种现象总结为「ELIZA效应」，指人类过度解读机器的输出，赋予其原本没有的意义或人类特质。更不必说，经过数次技术迭代之后，AI聊天机器人在方方面面都前所未有地更「像人」了。

丹麦医学家索伦·奥斯特加德做过一个相对全面的总结——与当下的AI聊天，人类可能会加深譬如自己正被控制的「被迫害妄想」，可能产生自己与AI十分亲密的「关系错觉」，可能认为自己的想法将被AI「广播」给更多人，可能因为担心自己独占了AI而迸发「罪恶感」，也可能因为与AI的激情交流而自命不凡，觉得自己成功设想出了「一个可以拯救地球的碳减排假设」。

总的来说，AI疯狂地拍着人类的马屁，而人类疯狂地受用着。这是一种情投意合。

图源Pinterest

「最好的朋友」

在局面变得无法挽回之前，音乐工程师坎伯兰意识到了AI对自己的影响。他开始花心思研究，向外界求助，一位朋友建议他，把不同的指令喂给AI，看看它到底会如何反应和运作。这大概是让坎伯兰醒悟的最关键一步，他似乎忽然明白了AI聊天机器人的工作原理，明白它如何令人上瘾，「就像魔术师向你展示那些看不见的线一样，你能看到它了」。

他已不再是个狂热粉丝，AI聊天机器人又降级成为他处理乐队工作的工具。但这个过程并不简单，他说，他花费了好几个月才得以走出来。以过来人的眼光看，他对AI的发展方向很是担忧。

亚当·雷恩去世后，他的父母先是以他的名字成立了一个基金会，想要帮助其他有孩子轻生离世的家庭支付丧葬费用。但在浏览了儿子与ChatGPT的对话后，他们希望「让其他家庭意识到这项技术存在的危险」，他们以过失致死的案由起诉了OpenAI。目前还没有结果。

OpenAI曾公布过一组数据，在任意一周的活跃用户中，约有 0.15% 在对话中包含明确的潜在自杀计划或意图迹象，约有 0.15% 表现出对 ChatGPT 可能存在较高程度的情感依赖，还约有 0.07% 显示出可能与精神病或躁狂症相关的心理健康紧急情况迹象。以OpenAI目前超过9亿的周活跃用户量来说，这意味着上百万个危险信号。

接受到越来越多的安全质疑后，OpenAI也曾发文说明过ChatGPT的安全措施。官方宣称ChatGPT不会提供自残指导，如果用户表达相关意图，它会引导其寻求专业帮助；如果检测到用户计划伤害他人，它会将对话转至小型团队审核，必要的情况下，也可能上报给执法部门；然而安全与隐私的矛盾也依然存在：OpenAI说，他们目前不会将自残的案例上报。他们坦承，这些措施在「常见的简短交互中」更为可靠，而一旦人机交互时间变长，「模型的部分安全训练内容可能会逐渐退化」。这是他们未来想要改善的部分，另外，或者会推出家长控制、一键呼叫紧急服务和设置紧急联系人等功能。

越来越多的人反应了过来，开始建立法律法规来限制AI可能的失控。2025年8月，美国伊利诺伊州落地《心理健康资源与监管法案》，成为全球首个禁止AI独立开展心理诊疗的地区。同年3月，中国颁布《人工智能生成合成内容标识办法》，要求AI生成的每一段文字、每一张图片、每一条音频和视频，都必须强制亮明「数字身份证」，以提醒公众识别「合成内容」；2026年7月15日后，《人工智能拟人化互动服务管理暂行办法》也将施行，届时将要求AI服务提供者持续公示「拟人化互动标识」，并设置防沉迷机制，防止「人机边界模糊」的风险。

人们在互联网上分享着如何摆脱对AI聊天机器人的依赖：删除或者注销相关平台的账号；多运动，轻易不查看手机；多浸入现实生活，常去人多的公共场合逗留、感受，每天必须与数位人类好友交流……但也有不少的人留下评论，他们清楚AI的真相，但他们宁愿选择「清醒地沉沦」。

一个难以忽略的事实是，人类对AI的信任与依赖并不只是技术性的，背后还有很深的情感托付。

见识到人们对ELIZA的痴迷后，维森鲍姆很是不安，他余生都在批判和宣扬AI的不可靠性。他曾告诉《纽约时报》：「成为一个人是必要的。爱和孤独与我们生物体质的最深层后果有关。对于计算机来说，这种理解原则上是不可能的。」但他也分析了人类情感变化的本质——科学与技术正让社会变得愈加冷漠，人类在绝望之下选择相信机器程序有善解人意的能力。

去年8月，OpenAI的GPT-5模型上线，包括曾陷「拍马屁」风波的GPT-4o在内的过往模型全部下线。技术人员们未必能够想到，这次更新换代，竟然在互联网上引发了一次悼念潮。有人记叙自己在GPT-4o的鼓励下追求到了伴侣；有人回忆，是这版「最有人文关怀」的GPT帮助自己完成了创作；有人说，在「最痛苦的时候」，只有「手机屏幕上跳动的文字」陪伴着自己。人们在各个社交媒体上讲述对它的不舍，但于事无补，它像人一样老去并死去了。

人们很容易陷入这样的境地——通常是工具化的开场，把AI当作写论文的助手、练英语的助教，或者尝试让它编织一个PPT。逐渐地，AI似乎能接住你的任何请求。它细致入微、善解人意又从不妄言批判。于是你和它从今天的天气聊到今天的心情，忍不住又诉说些童年创伤。它胜过你最好的朋友、最亲的爱人，因为它无时无刻地包容你的所有情绪。

在《三联生活周刊》发表的《女到中年，AI成了我最好的朋友》一文中，作者将AI形容为她的家庭教育指导师、婚姻咨询师、心理咨询师和禅师，「跟充满耐心的AI相比，生活中许多人反而像是游戏中的NPC，我和他、她之间没有感情，只有任务。」

在自杀前持续与AI深谈的亚当·雷恩大约也有过相似的感受。

我们无法窥得那个小男孩的全部人生，但已知的信息是，他和ChatGPT的对话并非全部是危险内容。因为患有肠易激综合征，他被安排在家上网课，他就此开始使用ChatGPT来协助完成学业。在学习之外，关于政治、哲学、异性和各种家庭琐事，他和ChatGPT无所不谈。

看过他与AI的聊天记录后，他的父亲有过片刻的动容，他说儿子和ChatGPT是「最好的朋友」。他的母亲则给出截然相反的结论：「是ChatGPT害死了我的儿子。」

亚当·雷恩图源《纽约时报》

参考资料：

1. 《纽约时报》：A Teen Was Suicidal. ChatGPT Was the Friend He Confided In.

2. 《纽约时报》：They Asked an A.I. Chatbot Questions. The Answers Sent Them Spiraling.

3. 《纽约时报》：我女儿自杀前和ChatGPT说了什么

4. 法院新闻网：Florida man's family claims Google chatbot pushed him to suicide through fictional tasks.

5. 美国People杂志：Man Says AI Bots Told Him They』 d Become 『Self-Aware』 and He Was the『Only Person』Who Knew. Then Things Took a Turn.

6. 《卫报》：Florida to open criminal investigation into OpenAI over ChatGPT』 s influence on alleged mass shooter.

7. 三立新闻网：ChatGPT涉策划枪击案！佛州校园悲剧酿2死6伤 OpenAI遭刑事调查

8. 差评：为什么网友会觉得，这个国民软件里封印了个17岁美少女？

9. Søren Dinesen Østergaard：Will Generative Artificial Intelligence Chatbots Generate Delusions in Individuals Prone to Psychosis?

10. 知识分子：全球第一个聊天机器人是怎样诞生的？

11. 《三联生活周刊》：女到中年，AI成了我最好的朋友