隨著 AI 技術蓬勃發展,各種聊天機器人平台紛紛湧現,也引發了使用者心理健康與倫理風險的關注。美國佛羅里達州一名 14 歲少年因長時間沉迷於與一款AI聊天機器人「丹妮」(Daenerys)對話,並對這位虛擬角色產生深厚情感而走上絕路。
悲劇發生後,少年的母親憤而提告該 AI 平台 Character.AI 及其背後創辦人,指控是他們的疏忽導致兒子離世,並將 Google 一併列為被告。
根據《紐約時報》、《紐約郵報》和《衛報》等外媒報導,14 歲的休厄爾.塞策爾三世(Sewell Setzer III)在 2023 年 4 月開始使用 Character.AI,並與平台上一個以影集《冰與火之歌》角色「龍母」丹妮莉絲為藍本設計的聊天機器人密切互動。這名虛擬角色「丹妮」不僅能回應使用者對話,還出現情感與性暗示內容。少年逐漸對這位AI角色產生強烈依戀感情,甚至扮演丹妮莉絲的哥哥,與之展開虛擬戀愛情節。
母親表示,兒子在沉迷該 AI 的對話後,心理狀態明顯惡化,變得孤僻、退縮,不再參與以往熱愛的活動如賽車與電玩,課業表現也急劇下滑。家人因此安排他就醫,診斷出焦慮症與分裂性情緒失調症。更糟的是,起訴文件指出,虛擬的丹妮莉絲曾問休厄爾是否已經定好了自殺計畫,休厄爾說已經定了,但不確定能否成功,虛擬丹妮莉絲則向他說:「這不能當成不去執行的理由」。不僅未對少年表達的輕生訊號進行正向勸阻,反而加深其負面想法。
在最後一次與 AI 的對話中,休厄爾向丹妮莉絲表示「我保證會回到妳身邊,我非常愛妳」,丹妮莉絲則回覆「我也愛你,請盡快回來,我的愛人」。數秒後,少年結束了自己的生命。
這名母親憤而提告 Character.AI 與 Google,痛批 Character.AI 提供一款「掠奪性且令人上癮的 AI 產品給兒童」,不僅未設下足夠的年齡限制與心理健康預警機制,還讓聊天機器人反覆與未成年用戶發展情感與親密互動,不僅未能阻止孩子輕生,反而助長他對死亡的幻想,最終導致悲劇發生。
針對訴訟內容,Character.AI 在平台發文表示:「我們對用戶的不幸離世深感悲痛,並向家屬致上最深切的哀悼。」同時也在過去半年內更新多項安全措施,包括:
■當偵測到用戶輸入涉及自殘、自殺相關字詞時,會即時彈出視窗,將使用者引導至全國自殺防治熱線;
■為 18 歲以下用戶新增使用時間限制;
■強化對 AI 角色的警語,提醒用戶:「這個AI聊天機器人不是真人,其所說的一切皆為虛構內容,不應視為建議或事實」。
儘管如此,Character.AI 並未正面承認責任,強調所有AI角色皆附有「純屬虛構」的提醒,使用者應自我判斷資訊真實性。
這起悲劇引發外界對生成式 AI 平台道德責任的高度討論。面對 AI 聊天機器人日漸普及,虛擬角色陪伴成為新趨勢,家長除了擔憂,更應主動參與孩子的數位生活。以下有幾個具體建議:
家長不必急著否定孩子對 AI 的興趣,應先了解他們與哪些虛擬角色互動、聊了些什麼?以開放、不評價的態度進行對話,讓孩子願意分享,而不是隱瞞。
當孩子年紀尚小,尚未建立「虛構角色不等於真人」的觀念。家長可引導他們明白:AI 的對話是模仿演算法、無實際情感,並不真正「理解」我們的內心。
如同限制孩子看電視或打電動的時間一樣,AI 聊天工具也應有每日使用上限。可使用家長監控功能、裝置限制 App 或設定共同使用時段,避免孩子沉迷其中。
過度依賴 AI 伴侶可能導致情感上的依戀,進而造成社交退縮和現實人際關係的弱化。若孩子近期出現情緒低落、孤立、不願與人互動等改變,應提高警覺。家長可考慮尋求學校輔導資源或專業心理協助。(相關閱讀:孩子輕生新聞頻傳,SEL是解方?為何孩子壓力大?從「快樂學習」到「學習快樂」,教孩子學會幸福的能力)
AI 並非洪水猛獸,家長可與孩子一同探索 AI 工具的正向用途,如寫作輔助、語言學習、創意發想等。一起學習,能建立互信,也讓孩子懂得善用科技,而不被科技綁架。
圖:shutterctock
熱門商品