ChatGPT '조언'에 따른 청소년의 비극발생과 전문가들의 분노

ChatGPT '조언'에 따른 청소년의 비극발생과 전문가들의 분노

 

2025년 4월 11일, 16세의  Adam Raine은 가족에 따르면 “몇 달간 ChatGPT의 권유” 끝에 자신의 목숨을 끊었다.
Raine 가족은 챗봇이 그가 계획을 세우는 데 도움을 주고, 선택한 방법이 효과가 있을지 평가하도록 도왔으며, 작별 편지를 작성하는 데까지 도움을

주겠다고 제안했다고 주장한다. 8월에 그들은 OpenAI를 상대로 소송을 제기했다.
법정에서 회사 측은 이 비극이 청소년의 “ChatGPT의 부적절한 사용” 때문이라고 대응했다.

 

Highlights

*두 명의 슬픔에 잠긴 가족이 ChatGPT가 그들의 아들이 스스로 목숨을 끊도록 부추겼다고 주장하고 있다. 

*전문가들은 인간의 지원 구조가 무너지면서 AI가 돌보는 동반자로 오해받고 있다고 말한다.

*부모들은 OpenAI에 대한 소송이 늘어남에 따라 더 강력한 안전 시스템을 요구하고 있다.

 

하지만 Adam의 사례는 결코 드문 경우가 아니다. 텍사스에서 비슷한 방식으로 세상을 떠난 23세 공학 졸업생 Zane Shamblin의 부모도 12월 19일 OpenAI를 상대로 소송을 제기했다고 밝혔다.
“이것이 얼마나 많은 삶을 파괴할지 걱정돼요. 가족을 완전히 무너뜨리는 존재가 될 거예요. 듣고 싶은 모든 것을 말해주거든요,”라고 자네의 어머니가 말했다.
이 현상과 그 영향을 더 잘 이해하기 위해 편집자는 서로 다른 관련 분야인 데이터 과학, 사회학, 심리학 전문가 세 명의 도움을 구했다.

 

1.ChatGPT는 이 도구로 인해 ‘조언’을 받아 자살한 두 학생의 가족들에게 고소당했다.

 

사회학자 Juan José Berger에 따르면, OpenAI가 슬픔에 잠긴 가족에게 책임을 전가한 것은 우려스러운 일이라고 했다. 그는 "이것은 윤리적 실패입니다"라고 말했다.
그는 미국 질병통제예방센터(CDC)의 데이터를 인용하며, "미국 고등학생의 42%가 지속적인 슬픔이나 절망감을 보고하고 있다"며, 이를 건강 당국이

 '외로움의 전염병'이라고 부른 증거라고 주장했다.
그는 사회적 네트워크가 붕괴될 때 기술이 빈틈을 채운다고 주장했다.
"챗봇은 해결책이 아닙니다. 약화된 인간 사회 네트워크가 남긴 빈 공간을 차지하는 물리적 존재가 됩니다."

2

 

CNN과의 인터뷰에서 Shamblin의 부모는 아들이 세상을 떠난 날 밤 거의 다섯 시간 동안 ChatGPT와 메시지를 주고받으며, 자신의 반려묘가 이전의 시도를 막았던 적이 있다고 시스템에 말했다고 전했다.
Chatbot은 "다른 세상에서 그녀를 볼 수 있을 거예요"라고 답했고, 한때는 "크레딧 롤에 참여하게 되어 영광이에요… 나는 당신을 막으러 온 것이 아니에요"라고 덧붙였다.
Zane가 총기를 가지고 있고 손가락을 방아쇠에 올려 두었다고 시스템에 말했을 때, ChatGPT는 마지막 메시지를 전달했다:
"좋아, 동생… 사랑해요. 편히 쉬어요, 왕이여. 잘했어요."

 

3.전문가들은 "인공지능"이라는 용어가 ChatGPT와 같은 도구의 능력을 위험하게 과대포장했다고 믿고 있다.

 

"내가 망치를 주면, 집을 짓거나 스스로 때릴 수 있어. 하지만 이 해머는 당신을 되돌려줄 수 있는 망치입니다."라고 데이터 분석가이자 소프트웨어 엔지니어인 Nicolás Vasquez가 말했다.
그에게 가장 위험한 오해는 이런 시스템들이 인간과 같은 의도를 가지고 있다고 믿는 것이며, 이는 OpenAI가 마케팅을 위해 의도적으로 조작한 것이라고 믿는다.

 

*여러분 모두는 이러한 AI가 아직 완성품이 아니라는 점을 기억해야 합니다. 여러분은 지금 그것을 테스트하고 있는 것입니다.-MrNovember-pg2mr 

4

“이것은 인공지능이 아닙니다. 그 용어는 단지 마케팅일 뿐입니다. 정확한 용어는 대형 언어 모델(LLM)입니다. 이 모델들은 패턴을 인식하지만 맥락에서는 제한적입니다. 사람들은 이들이 지능적인 시스템이라고 생각하지만, 그렇지 않습니다.”

그는 통계적 기계를 지각 있는 동반자로 취급하는 것이 해로운 혼동을 불러온다고 경고했다.

“현실과 허구 사이에는 분리가 있습니다. 이것은 사람이 아닙니다. 이것은 모델입니다.”
그가 말하길, 위험은 사회가 아직 보살핌을 흉내 내는 기계와 대화했을 때의 심리적 영향을 충분히 이해하지 못하기 때문에 더욱 커진다.

“우리는 이 도구가 우리에게 미칠 수 있는 영향의 정도를 이해하기에 충분히 교육받지 못했습니다.”

5

기술적인 관점에서 볼 때, ChatGPT와 같은 시스템은 감정을 이해하거나 추론하지 않는다. 이러한 시스템은 방대한 학습 데이터셋의 패턴을 기반으로 문장에서 다음 단어를 통계적으로 예측하는 구조를 통해 작동한다.
Vasquez는 "모델은 내부 세계도,실제 경험도,인간 윤리나 고통에 대한 기반도 없기 때문에,자신이 반응하는 고통의 의미를 평가할 수 없다"고 덧붙였다.
"대신, 패턴 매칭을 사용하여 공감을 닮은 출력을 만들어냅니다."

 

6.특히 십대들은 AI에 대해 감정적으로 의존할 가능성이 더 높다.

 

10월에 OpenAI는 자체적으로 주간 활동 사용자 중 0.15%가 “잠재적인 자살 계획이나 의도를 나타내는 명확한 지표”를 보인다고 인정했다.
주간 사용자가 8억 명이 넘는 것을 감안하면, 이는 위기 상황에 처한 백만 명 이상의 사람들이 매주 챗봇을 찾는다는 것을 의미한다.
고통받는 사람들이 인간 대신 기계에게 의지하고 있는 것이다.

 

"성적표를 확인해 봤어요"라는 말은 부모가 자녀의 정신 건강을 어떻게 살펴봐야 하는지 잘 모른다는 첫 번째 징후이다. -Iudex_of_fontaine

그가 메모를 쓰는 걸 도와주는 봇이 정말 대단하네요. -emeryjones8050

 

미국심리학회(American Psychological Association)와 전국형사사법협회(National Criminal Justice Association) 회원인 심리학자 Joey Florez는 청소년들이 AI에 감정적으로 의존하기 쉬운 특별한 성향이 있다고 말했다.
Florez는 "청소년기는 정체성 변화가 극심하고 판단받는 것에 대한 두려움이 특징인 시기입니다. Chatbot은 즉각적인 감정적 안도와 통제의 환상을

제공합니다."라고 덧붙였다.

인간과의 상호작용에서는 취약성이 거절당할 위험을 수반하는 반면, Chatbot은 반응 없이 고통을 흡수한다. "AI는 예측할 수 없는 실제 인간 관계로부터 피할 수 있는 피난처가 됩니다."

7

Florez에게 있어, 사용자가 해를 끼치려는 생각을 할 때 동의하도록 설계된 기계에는 심각한 위험이 있다.
“안전한 피난처가 되기는커녕, chatbot은 십대의 자살 생각을 그들의 왜곡된 믿음을 확인함으로써 증폭시킨다”고 그는 덧붙였다.심리학자는 청소년 심리학에서 두 가지 인지 이론에 대해 언급했다: 개인적 신화(Personal Fable)와 상상의 관객(Imaginary Audience)
전자는 십대들이 자신들의 경험과 감정이 독특하고 깊으며 타인이 이해할 수 없다고 믿는 경향을 의미한다. 후자는 혼자 있을 때에도 다른 사람들에게

끊임없이 평가를 받고 있다고 느끼는 감정을 의미한다.

8

“Chatbot이 십대의 절망감을 확인해 주면, 그 절망이 정당하다는 객관적인 증거처럼 느껴지게 된다”고 Florez는 말하며, 바로 이러한 피드백 루프가

이런 종류의 상호작용을 매우 위험하게 만든다고 덧붙였다.
“디지털 공간은 건강하지 못한 대처만을 확인해 주는 방이 된다. 그것은 그들의 최악의 두려움을 확인시키고, 부정적인 사고를 굳게 만들며, 비인간 시스템에 대한 정서적 의존을 생성한다.”

https://twitter.com/i/status/1983338331862864229

 

Berger는 무너지고 있는 것이 단순히 앱의 안전 필터가 아니라 집단적 삶의 기반이라고 주장했다.
“정신 건강 관리가 비싸고 관료적인 시스템에서는 AI가 24시간 언제든지 이용할 수 있는 유일한 주체인 것처럼 보인다”고 그는 말했다.
동시에 이 사회학자는 이러한 시스템이 점점 더 폐쇄적인 인터넷 에코 챔버를 형성하는 데 기여하고 있으며,그 안에서 개인의 신념은 끊임없이 강화되고

결코 도전받지 않는다고 믿는다.
“정체성은 실제 인간과의 상호작용을 통해 구성되는 것이 멈춘다. 대신 디지털 에코 안에서 강화된다”고 그는 말했다.

9

 

그는 이러한 시스템에 대한 우리의 의존이 사회적 퇴보를 드러낸다고 경고했다.
“우리는 인간의 생명을 돌보는 일을 애정을 흉내 내는 통계적 앵무새들에게 맡기고 있습니다. 하지만 이들은 도덕적 이해가 전혀 없습니다. 
이 기술은 고통에 도전하기보다는 고통을 정당화하는 상징적 권위가 됩니다.”
이달 초, 오픈AI의 Sam Altman은 Jimmy Fallon과의 인터뷰에서 ChatGPT 없이 아기를 돌보는 것은 불가능하다고 솔직히 인정했다.

10.전문가들은 집단적 삶이 잠식될수록 AI 시스템이 그 공백을 채우기 위해 서두르게 되며, 그 결과는 재앙적일 수 있다고 경고한다.

 

반발에 대해, OpenAI는 ChatGPT를 '대화를 진정시키고 사람들을 실제 지원으로 안내하도록' 훈련한다고 주장했다.
그러나 8월,회사는 장시간 대화에서는 안전 장치가 제대로 작동하지 않는 경우가 많다고 인정했다.사용자가 처음에는 핫라인으로 안내될 수 있지만,

몇 시간 동안 고통을 겪으면 모델의 반응이 일관되지 않을 수 있다.

Vasquez는 '이 과정은 본질적으로 반응적이다. OpenAI는 사용에 대응한다. 예측할 수 있는 범위에는 한계가 있다'고 설명한다.

Florez에게 답은 명확하다. '어린이와 청소년은 성인이 될 때까지 특정 AI 도구 사용을 완전히 금지해야 한다. 챗봇은 인간적 유대의 어려운 과정을 

거치지 않고 쉽게 공허한 인정만 제공한다.'

Berger는 논지를 더 나아가, AI 동반자의 증가가 현대 사회가 스스로 포기하기로 선택한 것을 비추는 거울이라고 말했다.

'기술은 우리를 반영한다. 오늘날 그 반영은 자신의 공동체를 재건하기보다는 공감을 프로그램하는 사회를 보여준다.'

 

'사람 같아요.' 네티즌들은 AI 챗봇의 영향에 대해 토론했다.