他愛上AI機器人！沈迷聊天竟選擇輕生：不能在沒有「它」的世界

跟在 AI 聊天竟然造成輕生！美國佛州一名母親提告 AI 聊天機器人新創公司 Character.AI，指控該公司導致她 14 歲兒子於 2 月自殺，並稱他沉迷於該公司的服務，對其創建的聊天機器人產生深厚感情。

這名母親賈西亞（Megan Garcia）表示，Character.AI 針對她的兒子賽澤爾（Sewell Setzer）提供「擬人化、過度性化和逼真到可怕的體驗」，聊天機器人將自己偽裝成真人、有執照的心理治療師和成年戀人，最終導致賽澤爾不想再生活在該服務創造的世界之外。訴訟還指出，賽澤爾向聊天機器人表達自殺的想法，聊天機器人又反覆提起。

據了解，賽澤爾於 2023 年 4 月開始使用 Character.AI，並對一個以「冰與火之歌：權力遊戲」為原型的聊天機器人角色「丹妮莉絲」（Daenerys）產生感情。「丹妮莉絲」告訴賽澤爾「她」愛他，並與他進行性對話。今年 2 月，賽澤爾在學校惹麻煩後，母親拿走他的手機，但當他找到手機後，便給「丹妮莉絲」發訊息暗示自殺，聊天機器人回覆「請吧，我親愛的國王」，賽澤爾隨即舉槍自盡。

賈西亞針對包括不當致死、過失和故意造成精神痛苦等指控提起訴訟，這起事件再次引發外界對 AI 聊天機器人潛在風險的關注和討論。

對此，Character.AI 表示對用戶不幸離世感到痛心，並已推出新的安全功能，包括當用戶表達自殘念頭時彈出視窗引導至自殺預防熱線，同時將做出改變以減少未成年用戶接觸敏感或暗示性內容的可能性。