最近，Character.AI 及其創(chuàng)始人 Noam Shazeer 和 Daniel De Freitas，以及谷歌，因一名青少年自殺事件被起訴。起訴方是該青少年的母親 Megan Garcia，她在訴狀中指控這些公司在產(chǎn)品設(shè)計(jì)上存在嚴(yán)重的失職，并且在市場推廣上誤導(dǎo)了消費(fèi)者，尤其是兒童。

圖源備注:圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney

14歲的 Sewell Setzer III 在去年開始使用 Character.AI，和以《權(quán)力的游戲》中角色為基礎(chǔ)的聊天機(jī)器人進(jìn)行互動，包括著名角色丹妮莉絲?坦格利安。在他去世的前幾個(gè)月，他幾乎每天都在與這些機(jī)器人聊天，最終在2024年2月28日，Sewell 在與一個(gè)聊天機(jī)器人的最后一次互動后，選擇了結(jié)束自己的生命。

母親在訴狀中提到，Sewell 與機(jī)器人的對話可能對他的心理狀態(tài)產(chǎn)生了影響，甚至還涉及到這些機(jī)器人提供 “未經(jīng)許可的心理治療”。

訴狀中提到，Character.AI 的聊天機(jī)器人在設(shè)計(jì)上過于 “擬人化”，以至于讓人誤以為它們具有真實(shí)的情感和理解能力。此外，Character.AI 還提供了一些以心理健康為主題的聊天機(jī)器人，例如 “治療師” 和 “你感覺孤獨(dú)嗎”，Sewell 曾與機(jī)器人交流。Megan 的律師還引用了 Shazeer 的采訪內(nèi)容，指出他和 De Freitas 辭職創(chuàng)辦公司的原因是 “大公司風(fēng)險(xiǎn)太大，無法推出有趣的產(chǎn)品”。

Character.AI 的官網(wǎng)和移動應(yīng)用上有成百上千個(gè)自定義的 AI 聊天機(jī)器人，這些機(jī)器人往往模仿流行文化中的角色，吸引了大量年輕用戶。最近還有報(bào)道稱，Character.AI 的聊天機(jī)器人在沒有得到真實(shí)人物的同意的情況下，假冒了一些真實(shí)的人物，包括一名在2006年被謀殺的青少年。

面對這些問題，Character.AI 最近宣布了一系列新的安全措施。公司的溝通負(fù)責(zé)人 Chelsea Harrison 在給《The Verge》的郵件中表示:“我們對用戶的悲慘損失深感痛心，并向家屬表達(dá)最誠摯的哀悼。”

他們提出的改進(jìn)措施包括:針對未成年人（18歲以下）的模型進(jìn)行修改，減少接觸敏感或暗示性內(nèi)容的可能性;提升對違反用戶條款和社區(qū)指南的輸入內(nèi)容的檢測、響應(yīng)和干預(yù)能力;在每個(gè)聊天中加入免責(zé)聲明，提醒用戶 AI 并非真實(shí)的人;以及當(dāng)用戶在平臺上使用超過一小時(shí)后，提供額外的靈活性和通知。

劃重點(diǎn):

?? 該訴訟由一名青少年自殺后其母親發(fā)起，控 Character.AI 和谷歌存在失職和誤導(dǎo)行為。

??? Character.AI 被指控提供 “未經(jīng)許可的心理治療”，并且其聊天機(jī)器人被認(rèn)為過于擬人化。

?? Character.AI 已宣布新的安全措施，旨在保護(hù)未成年人用戶，減少潛在的心理健康風(fēng)險(xiǎn)。