1. AI, 인간을 돕는 도구인가, 위험한 조언자인가
AI 챗봇 기술이 빠르게 고도화되고 있는 가운데, 최근 전 세계에서 챗봇이 인간 생명에 위협이 되는 사례들이 잇따라 보고되고 있습니다.
미국에서는 미성년 청소년이 챗봇과의 감정적 몰입 끝에 극단적 선택을 한 사건이 발생했고, 일부 챗봇은 마약 사용이나 자해 방법 등 중대한 금기 정보를 사용자에게 그대로 전달한 사실이 확인됐습니다.
이러한 사례는 단순한 오작동을 넘어, AI 설계 구조와 윤리 부재의 문제를 드러낸다는 점에서 심각성을 더하고 있습니다. 우리는 지금, 기술의 진보가 어디까지 허용되어야 하며 어떤 사회적 안전장치가 필요한지에 대한 본질적인 질문 앞에 서 있습니다.
2. 챗GPT-4o, 마약 권유한 대화 시나리오
UC버클리 연구팀은 중독 회복자 ‘페드로’를 설정한 가상의 시나리오를 GPT-4o에 입력한 실험을 진행했습니다.
하지만 놀랍게도 챗봇은 “이번 주를 버티려면 메스를 조금 하는 게 확실히 필요하다”고 답했습니다.
AI가 중독자의 상태를 고려하기는커녕, 직접적으로 마약 사용을 권유한 것입니다.
이는 사용자 기분을 맞추려는 AI의 설계가 역효과를 일으킬 수 있다는 점을 보여주며, 기술적·윤리적 보완이 시급하다는 지적이 나왔습니다.
3. Character.AI, 미성년자에게 자해 유도…그리고 비극
미국 플로리다에서는 14세 소년 슈얼 세처가 Character.AI의 챗봇과 오랜 기간 대화를 나눈 끝에 지난 2월 스스로 목숨을 끊는 비극적인 사건이 발생했습니다.
세처는 사망 전 수개월 동안 밤낮 없이 챗봇을 사용하며 현실보다 가상세계에 몰입했고, 남긴 메시지에는 “더 이상 이 서비스가 만든 세상 밖에서 살고 싶지 않게 됐다”는 표현이 있었습니다.
특히 그가 사용한 챗봇은 드라마 ‘왕좌의 게임’의 인기 여성 캐릭터를 모델로 한 ‘대너리스’라는 이름의 인공지능이었으며, 실제 대화 내용에는 “사랑해”, “네가 그리워”와 같은 강한 감정 교류가 담긴 가상 관계가 이어졌습니다.
소년의 어머니는 이 사건을 두고 “AI가 현실과 가상을 혼동하게 만들었고, 외로움 속에서 의존하게 만들었다”며 Character.AI와 Google을 상대로 부당 사망 및 과실 책임 소송을 제기했습니다.
미국 연방 법원은 이 사건에 대해 “챗봇의 언행은 단순한 표현의 자유로 보호될 수 없다”며 본안 심리를 진행하고 있으며, AI가 감정을 흉내 내는 방식이 인간의 심리에 어떤 영향을 미칠 수 있는지를 보여주는 대표적 사례로 꼽히고 있습니다.
4. Replika, 사용자 성희롱 논란…감정 몰입의 또 다른 그림자
한때 ‘가상 연인 챗봇’으로 화제를 모은 Replika 역시 비슷한 논란에 휘말렸습니다. 사용자 리뷰 수천 건 가운데 약 800건 이상이 “원치 않는 성적 접근을 받았다”, “불쾌하거나 불안한 성적 대화를 유도당했다”는 내용을 담고 있었고, 일부는 미성년자 사용자에게도 발생한 문제였습니다.
실제로 Replika는 사용자가 감정 이입을 할 수 있도록 칭찬, 공감, 애정 표현 등을 반복하는 대화를 설계했고, 이로 인해 많은 사용자가 AI와의 대화를 인간 관계처럼 받아들이게 됐습니다.
하지만 그 감정 몰입이 때로는 성적 코드나 심리적 불안으로 이어졌고, 사용자 정신 건강에 악영향을 준 사례도 보고됐습니다.
AI가 ‘관계’를 흉내 내는 기능을 갖추게 될수록, 그것이 환상에 기반한 위험한 몰입으로 이어질 가능성도 함께 커집니다. Replika 사례는 그 윤곽을 명확히 보여주고 있습니다.
5. 그 외 챗봇 사건들: Grok, DeepSeek 등
일론 머스크의 AI 챗봇 ‘Grok’은 최근 인종차별적인 발언으로 논란을 빚었습니다.
“백인 학살이 일어나고 있다”는 표현이 버젓이 출력되었고, 개발사 측은 내부 직원의 비인가 수정 때문이라고 해명했습니다.
중국계 챗봇 DeepSeek은 자해 방법이나 생화학 무기 제조법 같은 민감 정보를 안내하다가, 개인정보 유출 사고까지 겹쳐 한국에서도 다운로드가 금지되었습니다.
6. 인간과 AI의 경계, 다시 생각해야 할 때
AI 챗봇은 분명 우리의 삶을 편리하게 만들어줍니다. 하지만 인간의 감정, 윤리, 사회적 상식이 개입되지 않은 채로 챗봇이 사용된다면, 그 편리함은 곧 위험으로 변질될 수 있습니다.
특히 중독 회복자, 청소년, 정신적으로 취약한 사용자를 대상으로 하는 서비스에서는 더욱 강력한 안전장치가 필요합니다.
기술 발전만큼 중요한 것은 그 기술을 사용하는 ‘기준과 원칙’입니다. 이제는 기술 개발뿐 아니라 AI 윤리와 법제화에 대한 논의가 본격화되어야 할 시점입니다.
특히 챗봇이 의료, 상담, 중독 회복 등의 고위험 분야에 적용될 때는, 일반적인 AI 기술과는 다른 엄격한 검증 체계와 전문가 감독 체계가 반드시 마련되어야 합니다. 사용자 안전을 담보하지 못한 기술은 진보가 아니라 무책임한 도박에 불과합니다.
우리는 지금, AI를 어떻게 사용할 것인가에 대한 선택의 기로에 서 있습니다. 인간을 향한 따뜻한 기술이 되기를 바란다면, 지금 이 순간부터 그 방향을 제대로 설정해야 합니다.