SK텔레콤과 KT가 자체 거대언어모델(LLM)을 오픈소스로 공개했다. 양사는 한국 특화형 LLM을 기업과 개인, 공공에 개방해 국내 인공지능(AI) 대중화에 기여할 방침이다.
SKT와 KT는 자체 개발 LLM인 '에이닷엑스(A.X) 4.0'과 '믿:음 2.0'을 오픈소스 AI 개발자 플랫폼 허깅페이스에 3일 각각 공개했다.
SKT의 A.X 4.0은 현존 LLM 중 최상급의 한국어 처리 효율성을 보이며 데이터 보안을 고려한 설계, 로컬 환경에서의 운영 가능성 등이 강점이다. SKT는 모델에 방대한 한국어 데이터를 추가로 학습시켜 국내 비즈니스 환경에 최적화시켰다.
A.X 4.0의 토크나이저를 자체 설계, 적용해 높은 수준의 한국어 처리 역량을 구현했다. 자체 테스트 결과 같은 한국어 문장을 입력했을 때 GPT-4o보다 A.X 4.0이 약 33% 가량 높은 효율을 기록하며, 다른 LLM 대비 높은 정보 처리용량에 비용 절감까지 가능한 경제성을 갖췄다.
또 대표적인 한국어 능력 평가 벤치마크인 KMMLU2에서 78.3점을 기록하고, 한국어 및 한국 문화 벤치마크인 CLIcK3에서도 83.5점을 획득하는 등 GPT-4o보다 우수한 한국 문화 이해도를 입증했다.
SKT는 A.X 4.0을 기업 내부 서버에 직접 설치해 사용할 수 있는 온프레미스 방식으로 제공할 방침이다. 표준 모델은 720억개, 경량 모델은 70억개의 매개변수를 갖추고 있어 이용자들이 목적에 맞춰 선택적으로 이용할 수 있도록 했다.
KT는 '한국적 AI' 철학을 담은 믿:음 2.0을 앞세워 국내 AI 생태계 활성화에 기여할 것이라고 밝혔다. 믿:음은 한국적 독자 AI 모델로서 고품질 한국어 데이터를 준비하는 과정에서 모든 저작권을 확보해 신뢰성을 높였다. 이번에 선보인 모델은 115억 파라미터 규모인 '믿:음 2.0 Base'와 23억 파라미터 규모의 '믿:음 2.0 Mini' 2종이다.
믿:음 모델은 한국어와 한국 문화 및 사회 등 전문 분야에서 기존의 국내외 주요 모델을 상회하는 이해력과 생성 성능을 입증했다. KT와 고려대학교가 공동 개발한 한국어 AI 역량 평가 지표 'Ko-Sovereign'(코-소버린) 벤치마크에서 글로벌 최고 수준의 오픈소스 모델을 능가하는 점수를 기록했다.
KT는 국내 교육용 도서와 문화 작품 등의 발간물, 법률 및 특허 문서, 각종 사전 등 다양한 산업·공공·문화 영역에서 방대한 한국 특화 데이터를 확보해 믿:음 2.0 학습에 활용했다.
KT는 "한국어의 구조와 언어학적 특성을 반영한 토크나이저를 자체 개발하고, 필터링으로 줄어든 데이터 규모는 데이터 합성 방법론을 적용해 보완했다"며 "이를 통해 한국 사회 고우의 언어와 문화적 맥락을 정교하게 반영, 한국어 사용자에 최적화된 언어 이해 능력과 정밀한 표현력을 지닌 모델로 구현했다"고 설명했다.
양사는 이번 오픈소스 공개를 시작으로 국내에 '한국적 AI' 확산을 통한 생태계 구성 선도에 나설 방침이다. SKT는 이달 내로 수학 문제 해결과 코드 개발 능력이 강화된 추론형 모델을 공개하고 이미지와 텍스트를 동시에 이해하고 처리할 수 있는 수준까지 모델을 업데이트할 계획이다. 또 후속 모델도 순차적으로 공개할 예정이다. KT는 마이크로소프트(MS)와 협업으로 GPT-4에 한국적 사고를 추가 학습시킨 모델을 공개할 계획이라 밝혔다.
Copyright @ NEWSTREE All rights reserved.
