LG AI연구원, 세계 최고 권위 AI 학회서 ‘최고논문상’

LG AI연구원, 세계 최고 권위 AI 학회서 ‘최고논문상’

최초입력 2025.04.30 15:34:02

LG AI연구원은 자연어처리(NLP) 분야 세계 최고 권위 학회 중 하나인 북미전산언어학회(NAACL)에서 ‘최고 논문상’을 수상했다고 30일 밝혔다. 최고 논문상은 NAACL가 올해 등재된 1400여편의 논문 중 하나만 선정하는 최고상이다.
논문 1 저자인 김승원 카네기멜론대 박사과정 연구생은 LG AI연구원 초지능랩의 인턴 과정 중 이문태 초지능랩장, 이경재 데이터 스쿼드 리더, 서민준 한국과학기술원(KAIST) 교수 연구팀과 함께 연구를 주도했다. 연세대, 코넬대, 일리노이대, MIT, 워싱턴대 등 여러 대학의 연구진도 참여했다.
이들은 생성형 인공지능(AI) 모델 성능을 평가하는 ‘빅젠 벤치’(BIGGEN BENCH)를 개발해 상을 받았다. 기존 생성형 AI 모델 평가 방식은 유용성, 무해성 등 추상적인 개념 지표에 의존해 사람이 평가했을 때의 결과와 차이가 있고, AI 모델의 세부 역량을 측정하기 어렵다는 한계가 있었다. 반면 빅젠 벤치는 사람의 평가와 유사한 결과를 도출하기 위해 다양한 상황과 주관적 요소를 고려하는 사람의 평가 방식을 모방해 기준을 제시했다.
서민준 KAIST 교수는 “생성형 AI 모델을 평가할 때 사람들이 실제로 느끼는 실용성을 지표화할 수 있다는 점이 빅젠 벤치의 가장 큰 장점”이라며 “빅젠 벤치에서 좋은 결과를 얻는다는 것은 실제로 사용할 때 만족스러운 성능을 보이는 생성형 AI 모델이라는 의미”라고 설명했다.
구체적으로 지시사항 수행, 논리적 추론, 도구 사용 능력, 안전성, 다양한 언어와 문화적 맥락 이해 능력 등 생성형 AI 모델이 갖춰야 할 핵심 역량을 9가지로 분류하고, 77개의 세부 역할을 잘 수행하는지 평가하는 765개 항목을 구성했다.
LG AI연구원은 빅젠 벤치를 사용해 생성형 AI 모델 103개를 평가한 결과 전문가 집단과의 교차 검증에서 높은 수준의 신뢰도와 타당도를 확인했다.
이문태 LG AI연구원 초지능랩장은 “빅젠 벤치는 생성형 AI의 다양한 능력을 객관적이고 종합적으로 평가할 수 있도록 설계됐다”며 “기존 벤치마크의 한계를 극복하고 인간의 정교한 평가 기준에 부합해 AI 모델의 능력을 파악할 수 있다는 장점이 있다”고 말했다.
LG AI연구원은 빅젠 벤치를 기반으로 생성형 AI 모델 개발 과정에서 세부 항목별 성능을 자동으로 평가하는 후속 연구도 진행하고 있다.
한편 LG AI 연구원은 2022년부터 현재까지 국내 120건, 국제(PCT) 108건 등 총 228건의 특허를 출원하며 미래 AI 기술을 선도해가고 있다. 2020년 12월 출범 이후 글로벌 최상위 학회에서 발표한 논문은 234편이다.

김승원 카네기멜론대 박사과정 연구생

이문태 LG AI연구원 초지능랩(Super Intelligence Lab)장

이경재 LG AI연구원 데이터 스쿼드(Data Squad) 리더

서민준 KAIST 교수

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]

매일경제

LG AI연구원, 세계 최고 권위 AI 학회서 ‘최고논문상’

많이 본 뉴스