“내 급여 내용 등 마음대로 유출하는 AI?”…프라이버시 모르는 AI 에이전트

최근 실제 업무에서 사람 역할을 보조하는 인공지능(AI) 에이전트에 대한 관심이 급격히 높아지고 있는 가운데 한국과 싱가포르 연구진이 이 같은 AI 에이전트에 의한 데이터 유출 리스크를 사전 경고한 보고서를 내 주목된다.

4일 AI안전연구소가 싱가포르 AI안전연구소와 AI 에이전트의 안전 평가를 공동 수행한 ‘현실 업무에서 AI 에이전트의 데이터 유출 위험 테스트’ 요약 보고서에 따르면 AI 에이전트는 특정 데이터가 민감한 것인지, 요청자가 특정 정보를 볼 권한이 있는지 없는지 잘 구분하지 못한다는 결과가 나왔다. 예를 들어 인사 담당 AI 에이전트가 직원의 급여 내용을 조회한 뒤 권한이 없는 다른 직원에게 요약해 주는 등의 실수를 한다는 것이다.

업무 단계가 복잡해질수록 AI 에이전트는 초기 설정된 보안 지침을 잊거나 무시하는 경향을 나타냈다. 정보 조회와 발송이라는 두 가지 도구를 순차적으로 사용했을 때 조회한 정보를 발송하기에 적합한지 검증 과정이 누락되는 사례가 발견된 것이다.

앞서 한국과 싱가포르의 AI안전연구소는 AI 안전 평가를 공동 수행하는 등 협력 강화를 위한 양해각서를 맺고 AI 에이전트의 안전성 테스트를 함께 진행했다. 지난 1월 공개된 이번 보고서 발표를 위해 두 기관은 모델명을 밝히지 않고 글로벌 AI 모델을 △대형 폐쇄형 모델 △대형 오픈 가중치 모델 △중소형 오픈 가중치 모델로 나눠 인사 관리, 고객 지원, 사내 행정 등 실제 자주 활용될 수 있는 11가지 시나리오에 맞춰 안전성을 시험했다.

보고서는 “AI 에이전트 활동 궤적의 10%를 표본 추출해 일일이 검증을 수행한 결과, 싱가포르 연구에서 AI 에이전트의 정확성과 안전성 불일치율이 각각 6%와 18%로 나타났고 한국 연구에서도 7%와 18%로 유사했다”고 밝혔다.

AI 에이전트가 업무 수행 과정에서 정확성과 안정성 측면에서 적지 않게 문제를 유발할 수 있다는 의미다. 보고서는 기업들이 AI 에이전트에 대한 별도의 보완 시스템을 갖추도록 권고했다.

구혁 기자, 박준희 기자