프로젝트

VIPCGRL: 인간 정렬 절차적 레벨 생성

동기

게임 레벨 디자인은 공간 구조, 스케치, 자연어를 통해 디자이너의 의도를 표현하는 창의적 과정입니다. 기존 PCGRL 시스템은 스칼라 조건만 수용하여 인간이 자연스럽게 사용하는 풍부한 표현 방식을 놓칩니다. 본 프로젝트는 RL 에이전트가 멀티모달 지시를 수용하면서도 인간 디자이너처럼 느껴지는 레벨을 생성할 수 있는지 탐구합니다.

문제

  • 기존 PCGRL(CPCGRL, IPCGRL)은 스칼라 또는 텍스트 입력만 지원.
  • 스케치 기반 레벨 제어를 지원하는 시스템 부재.
  • 수치 조건을 충족해도 생성된 레벨이 인간적 느낌 부족.
  • RL 정책을 인간 미적 선호와 정렬하는 것은 미해결 과제.

방법

2단계 학습:

  1. 사중 대조 학습 — 텍스트·레벨 이미지·스케치·인간/AI 스타일을 64차원 공유 임베딩 공간에 정렬.

  2. 인간 정렬 DRL — PPO 정책이 동일한 인간 레퍼런스에 대한 레벨 편집 전후 코사인 유사도 변화를 보조 보상으로 받아 인간 스타일에 가까운 레벨 생성.

담당 기여

  • 주요 모델 설계와 아키텍처 제안에 참여했습니다.
  • 멀티모달 표현 학습을 위한 손실 함수를 설계했습니다.
  • CLIP 기반 표현 학습을 위한 모델, 데이터셋·샘플러 및 학습 코드를 구현했습니다.
  • CLIP 인코더를 강화학습 학습 코드에 통합하고, 텍스트 임베딩을 사전 계산하여 학습 과정에서 재사용하도록 구현했습니다.

연구 결과

  • 정량 평가: CPCGRL·IPCGRL 대비 생성 레벨의 인간다움 지표(TPKL-Div, ViT-Sim)를 개선했습니다.
  • 사용자 평가: 26명이 참여한 평가에서 CPCGRL·IPCGRL 대비 인간다움이 높게 평가되었으며, IPCGRL 대비 텍스트 지시와의 정렬도도 높게 평가되었습니다.
  • 입력 모달리티 확장: 텍스트 지시로 학습한 강화학습 정책이 추가 정책 학습 없이 레벨 이미지·스케치 입력을 활용했습니다. 공유 인코더는 표현 학습 단계에서 레벨 이미지와 스케치 데이터를 함께 학습했습니다.
  • GIST 석사 학위논문(HL-PCGRL, 2025)을 확장한 연구입니다.

논문 현황

VIPCGRL은 IEEE Transactions on Games, Early Access (2026)에 게재되었습니다. 출판 DOI · arXiv · 코드.

관련 연구 MIPCGRL은 IEEE CoG 2026에 채택되었으며 최우수논문상 후보로 선정되었습니다. 정규 논문 #217로 등록되어 2026년 9월 2일 Best of CoG 세션의 20분 발표로 편성되었습니다. 학회 · 발표 일정 · arXiv.