[정보통신신문=박남수기자]
한국지능정보사회진흥원(NIA)과 업스테이지은 11일 NIA 서울사무소에서 ‘11월, 이달의 LLM’ 시상식을 개최하고 ‘Open Ko-LLM 리더보드’의 모델 2개를 선정했다고 밝혔다.
NIA와 업스테이지가 공동으로 운영하는 ‘Open-Ko LLM 리더보드’는 허깅페이스의 LLM 리더보드(영어 버전)를 벤치마크해 새로 구축한 한국어 버전으로, 지난 9월 27일 오픈했으며 운영 3개월만에 600개 이상의 LLM을 등록했다.
AI 학계와 산업계에서 많은 관심을 받고 한국어 LLM 성능을 측정하는 주요한 벤치마크로 자리매김하고 있다.
이번 ‘이달의 LLM’은 모델 파라미터 크기(①7B 이하, ②7B 초과)별 두 부문으로 진행했으며, 7B 이하 부문은 50.47점을 기록한 ‘미니레코드’가, 7B 초과 부문은 52.69점을 기록한 ‘미디어그룹사람과숲-마커AI 연구컨소시엄’이 차지했다.
특히, ‘미디어그룹사람과숲-마커AI 연구컨소시엄’의 LLM은 부문과 상관없이 리더보드 전체 1위로 가장 높은 점수를 기록했다.
선정 기업 외에도 KT, 롯데정보통신 등 다양한 AI 기업이 리더보드에 활발히 참여하여 공정한 경쟁을 통해 모델 성능을 평가하고 지속적으로 개선해 나가는 등 한국어 생성형 AI 생태계 활성화를 위한 민관 협력 모델로도 주목 받고 있다.
또한, NIA와 업스테이지는 신규 구축한 LLM용 데이터를 기반으로 평가데이터를 추가하는 등 리더보드 활성화를 위해 지속적으로 협력해나갈 계획이다.
황종성 NIA 원장은 “Open Ko-LLM 리더보드 신설이 LLM 연구개발 촉진의 도화선이 된 것 같아 매우 뜻깊으며, 앞으로도 국내 기업의 LLM 역량 강화를 위해 공공에서의 지원을 아끼지 않겠다”고 밝혔다.
시상식에 참여한 ‘미니레코드’와 ‘미디어그룹사람과숲’은 “공공의 지원 덕분에 자사의 LLM 성능과 기술력을 대외적으로 입증할 수 있는 기회가 주어져서 기쁘고, 감사하다”며 소감을 밝혔다.
