Overview – KRAFTON AI

Research Areas

Language Model (sLM/LLM)

컴퓨터가 인간의 언어를 이해하고 생성하는 기술을 중심으로, 언어 모델의 pre-training, post-training, fine-tuning에 이르는 전 주기 연구를 수행합니다. 특히, 게임을 이해하고 플레이할 수 있는 게임 특화 언어 모델 에이전트 개발을 목표로, 지식 추론, 의사결정, 감정 표현 등에 최적화된 언어 능력을 탐구합니다. 또한, Large Language Model(LLM)부터 디바이스에 직접 탑재 가능한 small Language Model(sLM)까지 폭넓은 스펙트럼의 언어 모델을 연구하며, 다양한 환경과 제약 조건에 대응하는 언어 AI 기술을 개발합니다. KRAFTON AI는 이러한 연구를 통해, 컴퓨터와 인간 간의 상호작용을 더욱 자연스럽고 친밀하게 만들고, 몰입감 있는 사용자 경험을 구현하는 것을 목표로 합니다.

Multi-modal Learning

서로 다른 여러 종류의 데이터를 동시에 이해하고 처리하는 능력을 연구합니다. 이 분야에서는 이미지, 텍스트, 음성, 비디오 등 다양한 형태의 데이터를 함께 사용하여, 각각의 데이터가 제공하는 고유한 정보를 최대한 활용하는 데 중점을 둡니다.

예를 들어, 이미지와 텍스트를 동시에 이해해 주제별로 대규모 데이터베이스를 구축하거나, 언어 모델을 TTS 기술에 결합해 의미와 맥락에 적절한 음성을 생성하는 연구가 이에 포함됩니다. 특히 KRAFTON AI는 게임 플레이 중 실시간으로 비디오, 유저의 음성, 텍스트 등 다양한 모달리티를 이해하고, 플레이어와 음성으로 대화하며 게임을 함께 플레이할 수 있는 멀티모달 모델 개발을 목표로 합니다.

이처럼 우리는 딥러닝을 더 이상 개별 분야에 한정하지 않고, 기술을 통합적으로 적용하여 복잡하고 도전적인 문제를 해결하고자 합니다. KRAFTON AI가 추구하는 인간과의 몰입형 상호작용을 실현하기 위해서는 모든 인공지능 기술이 유기적으로 융합되어야 합니다.

Reinforcement Learning

에이전트가 환경과의 상호작용을 통해 최적의 행동 전략(정책)을 학습하는 기술을 연구합니다. 게임 제작의 명가를 추구하는 크래프톤에서는 게임에 적용할 수 있는 직접적인 딥러닝 기술이기도 합니다.
예를 들면, 게임 플레이에 중요한 룰과 방법을 학습시켜 유저와 경쟁하게 할 수도 있고 게임 기획시 테스트 봇으로 사용할 수도 있습니다.
강화학습의 발전은 AI가 인간과 같이 복잡한 문제를 해결하는 데 필요한 학습 및 의사결정 능력을 갖추게 하여 인간과의 상호작용을 하는데 있어 중요한 역할을 담당할 것입니다.

Generative AI
(Vision & Animation / Speech)

Generative AI (Vision & Animation / Speech)

게임 개발에 필요한 다양한 비주얼 및 오디오 에셋 생성을 자동화하고 고도화하기 위한 Generative AI 기술을 연구하고 있습니다.

예를 들면, 2D 이미지로부터 3D 형태를 추론하고 모델링하는 기술, 사람의 동작이 담긴 비디오를 해석해 대상 캐릭터에 맞게 재현하는 Video-to-Motion 기술, 입력한 텍스트를 감정과 억양이 풍부한 음성으로 변환하는 Text-to-Speech 기술, 한 사람의 목소리를 다른 목소리로 자연스럽게 바꾸는 Voice Conversion 등의 기술이 있습니다. KRAFTON AI는 이와 같은 Generative AI 기술을 기반으로, 몰입도 높은 게임 경험과 제작 효율성의 극대화를 동시에 달성하고자 합니다.

Data-centric AI

모델의 성능 향상을 위해 주로 데이터의 질과 관련된 요소에 초점을 맞춥니다. 이 분야에서는 Data collection, processing, labeling, augmentation 등과 같은 데이터 관리 전략을 연구하며, 이는 고품질의 데이터셋을 구축하는 데 중요한 역할을 합니다.
예를 들면, 같은 성능 수치를 달성하면서도 더 적은 양의 데이터를 수집할 수 있을지 혹은 성능 수치 향상을 위해선 어떤 측면에서 더 나은 데이터를 필요로 하는지 등의 연구가 해당됩니다.
딥러닝 기반의 데이터 중심 연구는 AI 모델이 더욱 정확하고 강력한 예측을 할 수 있도록 합니다. 이 분야의 발전은 AI의 신뢰성과 공정성을 향상시키는데 기여하며, 연구 조직의 장기적인 방향성과 토대를 마련하는데에 매우 중요합니다.

Application

Virtual Friend

유저와 같이 게임을 함께해줄 Agent를 다양한 친구의 형태로 만들어냅니다.
게임에서 현재 상황을 이해하고 나와 대화하며 같이 플레이할 수 있는 존재입니다.

Singing Voice Synthesis

멜로디와 가사에 캐릭터 고유의 목소리와 음정을 입혀 노래를 만들어 냅니다.
크래프톤의 Virtual Human 중 하나인 ANA의 노래를 제작한 바 있습니다.

3D Avatar Generation

실제 인물의 사진을 소재로 하여 특정 스타일로 학습된 3D 아바타를 생성할 수 있습니다.
데이터를 추가하여 새로운 스타일도 만들어낼 수 있습니다.

In-house Application

게임 제작에 도움을 줄 수 있는 각종 도구를 제작하고 이를 전사에 보급합니다.
이 과정에서 게임 업계 전반에 혁신을 일으킬 수 있는 가능성을 발견하고자 합니다.