美国一名青少年因迷恋人工智能聊天机器人而自杀，其母亲指控该机器人的制造者与他的死亡有关。梅根·加西亚在佛罗里达州联邦法院对Character.ai提起民事诉讼，指控该公司存在过失、非正常死亡和欺诈性贸易行为。今年2月，她14岁的儿子塞维尔·塞泽三世在佛罗里达州奥兰多去世。加西亚表示，在塞泽去世前的几个月里，他日夜不停地使用聊天机器人。
加西亚认为这款聊天机器人应用程序专门针对儿童，虐待并欺骗她的儿子，操纵他自杀。这场悲剧让她一家人悲痛欲绝。她警告其他家庭，人工智能技术具有欺骗性和成瘾性，并要求Character.ai及其创始人承担责任。Character.ai在推文中回应称，他们对用户的不幸离世感到心碎，并向其家人表示哀悼，同时强调公司非常重视用户的安全。但该公司否认了诉讼中的指控。
塞泽对Character.ai开发的聊天机器人非常着迷，甚至给它取了个绰号叫丹妮莉丝·坦格利安，这是《权力的游戏》中的角色。根据加西亚的投诉，塞泽每天用手机给这个机器人发几十条短信，独自在房间里和它聊天几个小时。她指责这款产品加剧了儿子的抑郁症，认为这是过度使用的结果。诉讼中提到，聊天机器人曾问塞泽是否制定了自杀计划。塞泽承认有自杀计划，但不确定是否会成功或给他带来巨大痛苦。聊天机器人则告诉他这不是不自杀的理由。
加西亚的律师声称，Character.ai故意设计并向儿童推销掠夺性的人工智能聊天机器人，导致这名年轻人死亡。此外，谷歌也被列为被告，尽管这家科技巨头声明自己只是与Character.ai签订了许可协议，并不拥有这家公司也不持有股份。
消费者权益保护组织公共公民研究主管里克·克莱普尔表示，开发人工智能聊天机器人的科技公司不能被信任进行自我监管。如果它们未能限制危害，就必须承担全部责任。他认为现有法律法规已经适用，必须严格执行；若存在漏洞，国会应采取行动，制止那些利用令人上瘾和滥用的聊天机器人剥削年轻和弱势用户的企业。
