한글 LLM 성능 비교 가능해진다…업스테이지-NIA, 공동 리더보드 구축

오픈 코-LLM 리더보드 27일 개설
한글 특화…‘상식 생성’ 기준 추가


한글 거대언어모델(LLM) 성능을 평가하는 리더보드가 생긴다.

업스테이지는 한국지능정보사회진흥원(NIA)과 공동으로 구축한 ‘오픈 코-LLM 리더보드’를 오는 27일 개설한다고 25일 밝혔다. 오픈 코-LLM 리더보드는 누구나 한국어 LLM 모델을 등록하고 다른 모델과 경쟁할 수 있는 공개 플랫폼이다. 업스테이지 관계자는 "개방형 LLM 리더보드를 운영하는 인공지능(AI) 커뮤니티 허깅페이스의 리더보드를 단순히 번역한 것이 아니다"며 "한국어 특성과 문화를 반영한 고품질 데이터를 자체 구축한 한국어 특화 리더보드"라고 자신했다.





오픈 코-LLM 리더보드는 상식을 생성하는 능력을 살펴보는 ‘상식 생성’ 기준이 추가된 것도 특징이다. 업스테이지가 임희석 고려대 교수 연구진과 협업해 구축한 데이터셋으로 역사 왜곡, 환각 오류, 형태소 오류, 불규칙 활용 오류, 혐오 표현 등에 대한 광범위한 질문지를 통해 AI가 한국인 일반 상식에 부합하는지를 측정한다. 대표적인 환각 현상(할루시네이션·hallucination)으로 꼽히는 ‘세종대왕 맥북 던짐 사건’ 사례를 방지할 수 있다는 설명이다.

이예린 기자