“믿고 결정했다 낭패”… ‘그럴싸한 AI 헛소리’ 어쩌나

미국 경제지 ‘포천’이 선정한 500대 기업 중 한 곳에서 근무하는 기업 재무 담당자 제임스(가명)는 한 생성형 인공지능(AI) 모델을 업무에 활용했다가 낭패를 봤다. AI로 경쟁사의 연구·개발(R&D) 지출 규모를 파악했는데, 실제 규모와 10배 이상 차이가 나 보고서에 오류를 냈기 때문이다. 제임스가 만든 보고서를 기반으로 사업 관련 결정을 내린 회사 역시 큰 손실을 입었다. 제임스는 “사고 이후 재무 데이터와 관련된 모든 항목을 원자료와 비교, 모든 수치를 확인하고 있다”고 말했다.

글로벌 AI 싱크탱크 ‘올어바웃AI’에 소개된 실제 피해 사례다. 이처럼 생성형 AI가 잘못된 정보를 사실인 것처럼 답변하는 ‘환각’ 문제 심화가 AI 시대의 걸림돌로 작용할 수 있다는 지적이 나온다. 글로벌 빅테크 간 AI 경쟁에 불이 붙으면서 안정성이나 정확성을 충분하게 검증하지 않고 새 모델 출시에만 열을 올리는 현상이 환각 문제를 더욱 부추기고 있다는 분석도 나온다.

15일 관련 업계 및 외신 등에 따르면 법률·의료·교육 등 높은 정확성이 요구되는 분야에서는 AI 활용이 많아질수록 환각에 따른 피해도 덩달아 커질 조짐을 보이고 있다. 실제로 올어바웃AI가 주요 AI 모델의 환각률을 조사한 결과 의료 정보는 15.6%, 법률 정보는 18.7%로 나타났다. 최신 AI 모델일수록 환각률은 더욱 높아지고 있다. 미국 정보기술(IT) 매체 테크크런치는 “환각 현상은 정확성이 중요한 법률이나 의료 등 분야에서는 치명적”이라고 분석했다.

오픈AI가 지난달 출시한 추론 모델 ‘o4 미니’는 환각률이 무려 48%에 달했는데, 이는 이전 추론 모델인 ‘o1’(16%)과 ‘o3 미니’(14.8%) 대비 3배 정도 높다. 환각률은 AI가 잘못된 정보를 생성하는 비율을 뜻한다. 환각률이 높을수록 답변의 정확성이 중요한 분야에서는 AI 사용이 오히려 치명적인 문제를 불러일으킬 수 있다.

하지만 오픈AI는 이 같은 현상의 정확한 원인을 파악하지 못하고 있다. 전문가들은 AI 모델의 정보 처리와 추론 능력이 발달할수록 역설적으로 틀린 답을 제출하는 ‘과신’ 현상이 문제를 더욱 악화시켰을 가능성을 제기하고 있다.

AI 기업들도 환각 문제 개선을 위해 검색과 검증 기능을 추가하는 등 노력을 기울이고 있지만 문제는 쉽게 해소되지 않고 있다. 챗GPT 개발사 오픈AI는 14일(현지시간) AI 모델의 안전성 평가 결과를 발표하는 ‘안전성 평가 허브’를 공개했다. 이곳에서는 AI 모델이 환각이나 유해 콘텐츠 생성 테스트에서 어떤 점수를 받았는지를 보여준다. 오픈AI는 “평가 허브는 투명성 강화 노력”이라며 “지속적으로 관련 지표를 공유하고 중요한 업데이트가 있을 때마다 갱신하겠다”고 밝혔다.

앞으로 AI 활용 영역 확대와 기술 발전은 환각 문제를 얼마나 해결하는지에 달렸다는 분석이 나온다. 정보통신기획평가원은 “AI 선도 기업들의 환각 대응 기술이 새로운 차별화 요소로 자리매김하고 있다”며 “우리나라도 정부와 기업, 학계의 협력을 통한 AI 환각 대응 전문가 양성 체계를 구축할 필요가 있다”고 지적했다.

김호준 기자