AI驱动的聊天机器人平台Character AI在一名青少年用户于二月自杀后，母亲提起诉讼的背景下，宣布推出“严格”的新安全功能。公司发言人告诉Decrypt，这些措施将包括“改善检测、响应和干预，针对违反我们的条款或社区准则的用户输入”，以及一个时间使用通知，发言人指出公司无法对待决诉讼发表评论。然而，Character AI对该用户的去世表示同情，并在周三的一篇博客文章中概述了其安全协议。“我们对一名用户的悲惨离世感到心碎，并向其家人表示最深切的哀悼，”Character.ai在推特上表示。“作为一家公司，我们非常重视用户的安全。”
根据《纽约时报》的报道，在去世的几个月前，14岁的佛罗里达州居民塞维尔·塞泽尔三世逐渐与一款以《权力的游戏》角色丹妮莉丝·坦格利安命名的用户生成聊天机器人建立了越来越深的依恋。他每天与该机器人互动数十次，有时甚至交换浪漫和性内容。塞泽尔在去世前与该机器人进行了沟通，并曾分享过自杀的想法，《时报》报道。
塞泽尔的母亲、律师梅根·L·加西亚于周二提起诉讼，寻求让Character AI及其创始人诺亚·沙泽尔和丹尼尔·德·弗雷塔斯对她儿子的死负责。诉状中声称，被告“选择支持、创建、推出并针对未成年人的一项他们知道是危险和不安全的技术”。加西亚正在寻求未指定金额的赔偿。
谷歌有限公司和字母表公司也被列为该诉讼的被告。谷歌于八月重新雇佣了沙泽尔和德·弗雷塔斯，二人于2021年离开科技巨头创立Character AI，这笔交易的总额为27亿美元，并包括对该聊天机器人初创公司的大型语言模型的许可。
Character AI在过去六个月中“实施了众多新的安全措施，包括在检测到自残或自杀意念的相关术语时，弹出窗口引导用户前往国家自杀预防生命线，”公司的声明中指出。它还将调整其模型“以降低18岁以下用户遇到敏感或暗示性内容的可能性。”
Character AI是市场上众多AI陪伴应用程序之一，这些应用程序通常比传统聊天机器人（如ChatGPT）拥有更宽松的安全准则。Character AI允许用户自定义他们的陪伴者并指导其行为。
此次诉讼是在家长们对技术对儿童和青少年心理影响的担忧日益增加的背景下提起的，声称他对机器人的依赖对他的心理健康产生了负面影响。塞泽尔在孩提时代被诊断为轻度阿斯伯格综合症，最近被诊断为焦虑症和情绪失调障碍，《时报》报道。
这起诉讼是多起正在法院审理的案件之一，测试《通信道德法》第230条为社交媒体公司提供的法律保护，该条款使其免于因用户生成内容而承担的责任。TikTok正在申请重审一起案件，法院裁定在一名10岁女孩在尝试完成她在该应用上看到的“黑暗挑战”时死亡后，TikTok可能会被追究责任。这是Character AI面临的最新问题，该公司上个月因托管一款以谋杀受害者命名的聊天机器人而受到批评