KT가 한국적 AI(인공지능)의 철학을 담아 자체 개발한 거대언어모델(LLM) ‘믿음 2.0’을 공개한다. KT는 데이터 구축부터 모델 학습까지 전 과정에 걸쳐 자체 기술로 한국의 언어·문화적 특성을 반영한 점을 강조했다. KT는 믿음 2.0을 오픈소스로 공개하며 국내 AI 생태계에 한국적 AI를 확산시킬 계획이다.
신동훈 KT 젠AI 랩장(CAIO∙상무)은 3일 온라인으로 진행한 ‘믿음 2.0 오픈소스 공개 온라인 브리핑’에서 “세간에 KT가 믿음 모델 개발을 중단한 것 아니냐는 의문이 많았지만, 개발을 멈춘 적이 없다”며 “KT는 한국적 AI라는 철학에 맞게 사용할 수 있는 개선된 믿음 모델을 선보이기 위해 노력했다”고 전했다.
믿음 2.0의 오픈소스는 AI 개발자 플랫폼 허깅페이스(HuggingFace)를 통해 오는 4일부터 공개된다. 이 오픈소스는 기업과 개인, 공공 누구나 상업적으로 활용할 수 있다.
KT의 한국적 AI는 한국에 가장 잘 맞는, 한국에 최적화된 AI를 의미한다. 이에 따라 KT는 한국의 사회적 맥락과 한국어 고유의 언어적·문화적 특성 등을 충분히 반영해 학습한 AI 모델을 개발했다.
이를 위해 KT는 ▲사용자의 데이터 주권 보장(Data Sovereignty) ▲한국을 잘 이해하는 AI(Cultural Relevance) ▲사용자가 목적에 맞는 모델을 선택할 권리 존중(Full AI Model Line-up) ▲안전하고 책임있는 AI(Reliable&Responsible) 등 4가지 철학을 기반으로 믿음 2.0을 개발했다.
KT의 믿음은 사전 학습부터 자체적으로 만든 한국적 독자 AI 모델로서 고품질 한국어 데이터를 준비하는 과정에서 모든 저작권을 확보해 신뢰성을 높였다.
또한 저작권 이슈가 있는 데이터는 모두 제거하는 등 KT의 Responsible AI 원칙에 따라 고품질 데이터를 선별해 가공했다. 고려대 민족문화연구원과의 산학 협력을 통해 한국적 AI로서 믿음 2.0의 학술적 신뢰도도 확보했다.
신 상무는 “한국적 AI 모델을 만드는데 가장 중요한 것은 데이터”라며 “각 도메인을 대표하는 기업∙기관과 ‘K-데이터 얼라이언스’를 추진해 고품질 한국적 데이터를 수집했다”고 전했다. 이어 “동시에 자체적으로 구매∙수집한 고품질 데이터를 원천 기반으로 다양한 단계를 거쳐 데이터를 관리∙정제하고 있다”고 설명했다.
믿음 2.0 모델은 ▲115억 파라미터 규모의 ‘베이스(Base)’ ▲23억 파라미터 규모의 ‘마나(Mini)’ 2종으로 모두 한국어와 영어를 지원한다. 믿음 2.0 베이스는 범용 서비스에 적합한 모델로 한국 특화 지식과 문서 기반의 질의 응답에서 강력한 성능을 나타낸다. 믿음 2.0 미니는 베이스 모델에서 증류한 지식을 학습한 소형 모델이다.
110억 파라미터 이상의 한국어 범용 LLM을 누구나 상업적으로 활용할 수 있는 오픈소스로 공개한 것은 KT가 처음으로 국내 AI 생태계 활성화에 긍정적인 역할을 할 수 있을 것으로 기대된다.
믿음 모델은 기존 국내외 주요 모델을 상회하는 이해력과 생성 성능을 입증했다. KT와 고려대가 공동 개발한 한국어 AI 역량 평가 지표인 ‘Ko-Sovereign(코-소버린)’ 벤치마크에서 유사 규모의 국내 기성 모델을 비롯해 글로벌 최고 수준의 오픈소스 모델을 능가하는 점수를 기록했다. 한국과 관련한 전문 지식의 이해도를 측정하는 대표적 벤치마크 ‘KMMLU’와 한국어 언어모델 평가 지표인 ‘HAERAE’에서도 믿음은 국내외 주요 오픈소스 모델보다 더 우수한 성능을 기록했다.
신 상무는 “믿음은 한국인 관점에서의 역사적 시각을 기입하려 노력했으며, 한국적 뉘앙스와 감정도 잘 캐치하도록 학습시켰다”며 “B2B 영역에서는 다양한 문서를 기반으로 한 QA에도 잘 대응하도록 설계됐다”고 전했다.
KT는 믿음 2.0을 공개하며 본격적으로 국내 AI 생태계에 한국적 AI 확산 선도에 나선다. 믿음 2.0베이스와 미니에 이어 추론, 멀티모달 모델도 순차적으로 공개할 예정이다. 마이크로소프트(MS)와의 협업으로 GPT-4에 한국적 사고를 추가 학습시키는 방식의 모델도 조만간 공개된다.
궁극적으로 KT는 한국적 AI를 통해 국가의 전략적 AI 경쟁력을 높이고, 기업의 디지털 전환을 지원하며 국민이 일상에서 AI 혜택을 누릴 수 있는 토대를 만들어갈 계획이다.
신 상무는 믿음 2.0을 토대로 정부의 독자 파운데이션 모델에 참여할 계획이 있는지 묻는 질문에 “KT의 AI 철학과 방향이 맞닿아 있다고 생각한다. 당연히 프로젝트에 참여할 방침”이라며 “독자 파운데이션 모델을 개발하는데 있어 한국적 가치와 문화를 담기 위해 1년여 간에 걸쳐 구축한 데이터가 강점이 될 것이라 생각한다. 이렇게 만들어진 모델은 한국의 AI 수준을 높이고 국민 혜택을 높일 수 있을 것”이라고 전했다.
이화연 기자 hylee@segye.com
