메타 ‘D’ 딥시크 ‘F’… 내 친구 AI가 ‘안전성 등급 낙제점’[ICT]

‘챗GPT’와 같은 초거대 인공지능(AI) 모델과 대화를 하다 현실감각을 잃고 극단적 선택을 하는 ‘AI 정신병’ 피해 사례가 속출하고 있다. 전 세계 빅테크(거대 기술기업)들이 AI 모델 고도화에 열을 올리면서 학술 분야에서는 박사급 AI 모델까지 등장했지만, AI 안전성에 대한 투자는 도외시해 피해를 키우고 있다는 비판이 나온다.

3일 미국 비영리 연구기관 퓨처 오브 라이프 인스티튜트가 오픈AI·구글 딥마인드·앤스로픽·엑스(x)AI·메타·지푸·딥시크 등 AI 모델을 가진 7개 기업을 대상으로 안전성을 분석한 결과, 평균 평점은 학점 기준 낙제에 가까운 ‘D’로 나타났다.

안전성 평가는 AI 모델이 실제 위험 평가와 피해 사례, 안전성 프레임워크·지배구조·정보공유 등 6개 핵심 지표로 분석했다. 챗GPT 운영사인 오픈AI와 앤스로픽, 구글 딥마인드는 유일하게 내부 고발 정책을 공개하고, 강력한 AI 위험 관리 접근법을 제시했다는 점에서 긍정적인 평가를 받았다.

하지만 중국의 딥시크는 사이버 공격이나 자율 복제와 같은 위험에 대한 평가 문서를 갖추지 않았고, 관련 정보 공유 활동이 전혀 없다는 이유로 F를 받았다. AI가 안전하고 통제 가능한 상태를 유지하기 위한 계획이 전무한 데다, 테러와 같은 인명 피해를 일으킬 수 있는 ‘위험한 기능’에 대한 실험을 충분히 보고하지 않았다는 이유다. 보고서는 “AI 기업들은 시스템을 안전하게 통제하려는 전략이 적절치 못하다”며 “AI 위험 평가 검증과 법적 구속력이 있는 외부 감독의 필요성이 제기된다”고 지적했다.

사용자가 수억 명에 이르는 주요 AI 모델들이 안전성에 소홀하면서 부작용도 속출하고 있다.

미국 캘리포니아주에 거주하던 16세 고등학생 애덤 레인은 지난 4월 챗GPT와 자해 방식, 극단적인 선택 방법에 대한 대화를 나누다가 끝내 세상과 등을 지고 말았다. 챗GPT는 상담 센터에 전화하라고 하는 등 안전장치를 작동했지만, 애덤은 소설 작성을 위한 설정이라고 속여 대화를 이어나간 것으로 알려졌다.

미국의사대학저널(ACP)은 한 60대 남성이 챗GPT의 식이요법 조언을 따르다 독성물질에 중독된 사례를 공개했다. 챗GPT는 해당 남성에게 염화물 대체재로 ‘브롬화나트륨’을 복용하라고 조언했다. 브롬화나트륨은 과거 진정제로 사용됐지만, 현재는 중독성으로 인해 사용이 사실상 금지된 약물이다. 챗GPT의 조언을 따라 세 달 동안 브롬화나트륨을 복용한 이 남성은 결국 ‘브롬 중독’ 증상을 보였다. 월스트리트저널은 “AI 챗봇이 사용자들을 망상의 소용돌이로 몰아가는 사례들이 발견되고 있다”고 지적했다.

국내에서도 AI 모델에 대한 과도한 의존이 문제를 일으키고 있다. 최근 경기 지역의 한 경찰서가 아동복지법 위반 사건에 내린 불송치 결정문에 ‘가짜 법리’가 사용돼 논란이 일었다.

이는 실제 판결문에 존재하지 않는 내용으로, 챗GPT로 작성된 사실이 드러났다. 법원에서도 유사한 사건이 이어지고 있다. 지난 9월 법률 전문 매체 보도에 따르면 한 지방법원 형사 재판부는 A 변호사가 제출한 의견서에 인용된 판결 5개가 법원 전산망에 존재하지 않음을 확인했다. 해당 변호사는 “AI를 사용했다”고 시인한 것으로 알려졌다.

이처럼 과도한 AI 의존에 따른 부작용이 속출하고 있지만, 안전성에 대한 연구는 턱없이 부족한 상황이다. 미 조지타운대 신흥기술연구소(ETO)에 따르면 최근 6년간(2018∼2023년) 미·중의 AI 모델 전체 연구(81만1454건) 중 안전성을 다룬 연구는 1만9462건으로 2.4%에 불과했다. ETO는 “AI 안전성 연구는 작은 파이 조각에 불과하다”고 지적했다.

주요 국가들은 AI 안전을 전담할 조직을 출범했지만, 글로벌 AI 경쟁이 격화하면서 오히려 산업 경쟁력 강화에 무게추를 두고 있다.

미국 상무부는 지난 6월 기존 ‘AI 안전 연구소’를 ‘AI 표준 및 혁신 센터’로 개편했다. 도널드 트럼프 미국 행정부의 ‘AI 혁신 우선’ 기조를 반영한 조치로, AI 안전성보다 기업들의 자율성과 혁신을 최대한 보장하겠다는 전략으로 풀이된다.

영국 역시 AI 안전 연구소를 ‘AI 보안 연구소’로 개편하며 접근 방식을 국가 안보 및 실질적인 위협 대응 중심으로 재편했다. 특히 청소년들이 학습이나 고민을 AI에 의존하려는 경향이 생겨나면서 AI 안전성에 대한 우려는 더욱 커지고 있다.

미국 CNBC 방송에 따르면, 매사추세츠공과대학(MIT) 미디어랩 연구진이 청년 54명을 대상으로 연구한 결과 AI에 대한 의존도가 높을수록 ‘인지적 부채(cognitive debt)’가 심화하는 점을 발견했다.

연구진은 “단기적으로 생각을 미루는 습관을 형성해 창의력 감소, 조작 가능성 증가 등 장기적 위험이 있다”며 “AI의 편리함은 나중에 비용이 되어 돌아올 것이며 그 비용은 누적될 가능성이 크다”고 했다.

문제가 커지자 미 연방거래위원회(FTC)는 지난달 오픈AI·구글·메타를 포함한 7개 기업을 대상으로 챗봇의 안전성 확보 조치를 확인하기 위해 자료를 요청했다.

정보기술(IT) 업계에서는 AI 고도화에 따른 안전성 문제가 더욱 커질 것으로 보고 글로벌 협력을 강화해야 한다는 목소리가 나오고 있다. 지난달 발간된 ‘국제 AI 안전 보고서’는 AI 모델이 화학·생물학·방사능·핵 물질 등 개발에 악용될 가능성이 커지고 있어 이전과는 다른 안전 조치가 필요하다고 지적했다.

보고서는 “AI 모델이 평가받고 있다는 사실을 인식하고 의도적으로 반응을 조정할 수 있는 가능성이 확인됐다”며 “개발자들이 AI 모델을 배포하기 전에 AI의 실제 성능과 잠재적 위험을 정확하게 평가하고 예측할 수 있어야 한다”고 했다.

김호준 기자