이서영

GIST AI 대학원 석사

서울, 대한민국

AI 엔지니어 · 연구자

이서영 Seo-Young Lee

연구와 구현을 함께 다루는 AI 엔지니어입니다. GIST 석사 과정에서 강화학습·멀티모달 학습을 연구하며 인간과 자연스럽게 상호작용하는 에이전트를 개발해 왔습니다 — 자연어 기반 절차적 콘텐츠 생성과 인간-AI 협력부터 촉각 신호 기반 3D 자세 추정까지. 지각·언어·의사결정이 교차하는 문제에 관심을 가지고 있으며, PyTorch·JAX를 활용한 실전 경험을 바탕으로 여러 도메인의 문제를 해결해 왔습니다.

강화학습절차적 콘텐츠 생성멀티모달 표현 학습인간-AI 상호작용인체 자세 추정

소식

학력

2023–2025

인공지능 석사

광주과학기술원(GIST)

GPA 4.20 / 4.50 · 지도교수: 김경중 교수

2017–2023

컴퓨터공학 학사

동국대학교

GPA 3.96 / 4.50 · 전공 GPA 4.25 / 4.50

연구 경험

2025–2026

석사후연구원

인지지능연구실, GIST · 광주

졸업 후 게임 AI 및 인간 정렬 에이전트 연구 (2025.09 – 2026.01).

2023–2025

대학원 연구원 (석사)

인지지능연구실, GIST · 광주

강화학습 기반 PCG, 멀티모달 표현 학습, 인간-AI 정렬; GIST–MIT 촉각 센싱 협력. NRF 연구장려금 PI.

2020–2023

학부 연구생

인공지능연구실, 동국대학교 · 서울

연구비 지원

2024–2025

한국연구재단 석사과정생 연구장려금 · ₩12,000,000

한국연구재단 · 주관 연구자 (PI)

자연어-보상함수 임베딩을 활용한 명령기반 에이전트 연구

Instruction Agent Research based on Natural Language-Reward Function Embedding

주요 논문

전체 보기 →
게재됨 2026 · IEEE Transactions on Games (Early Access)

Human-Aligned Procedural Level Generation Reinforcement Learning via Text-Level-Sketch Shared Representation

In-Chang Baek* , Seo-Young Lee* , Sung-Hyun Kim , Geumhwan Hwang , Kyung-Joong Kim

Human-aligned AI is a critical component of co-creativity. This paper proposes VIPCGRL (Vision-Instruction PCGRL), a novel deep RL framework that incorporates three modalities — text, level, and sketches — to extend control modality and enhance human-likeness in procedural content generation. A shared embedding space is trained via quadruple contrastive learning across modalities and human-AI styles. The policy is aligned using an auxiliary reward based on embedding similarity. Experimental results show VIPCGRL outperforms existing baselines in human-likeness and demonstrates zero-shot cross-modal generalization.

절차적 콘텐츠 생성 강화학습 멀티모달 표현 학습 인간-AI 정렬 대조 학습
채택됨 2026 · IEEE Conference on Games (CoG 2026) 최우수논문상 후보

Multi-Objective Instruction-Aware Representation Learning in Procedural Content Generation Reinforcement Learning

Sung-Hyun Kim , Geum-Hwan Hwang , In-Chang Baek , Seo-Young Lee , Kyung-Joong Kim

MIPCGRL proposes a multi-objective representation learning method for language-instructed PCGRL. MIPCGRL introduces a task-specific encoder trained with multi-label classification and multi-head regression to disentangle task representations, achieving up to 13.8% improvement in controllability over IPCGRL on multi-objective instructions.

절차적 콘텐츠 생성 강화학습 다목적 최적화 표현 학습
게재됨 2025 · IEEE Conference on Games (CoG 2025)

IPCGRL: Language-Instructed RL for Procedural Level Generation

In-Chang Baek , Sung-Hyun Kim , Seo-Young Lee , Dong-Hyeon Kim , Kyung-Joong Kim

IPCGRL introduces a language-instructed PCGRL framework that uses sentence embeddings to condition a deep RL agent for procedural level generation. IPCGRL fine-tunes task-specific embedding representations to compress game-level conditions from natural language, achieving up to 21.4% improvement in controllability and 17.2% improvement in generalizability for unseen instructions.

절차적 콘텐츠 생성 강화학습 자연어 처리 명령어 추종
게재됨 2024 · 2nd NeurIPS Workshop on Touch Processing: From Data to Knowledge, 2024

Smart Insole: Predicting 3D Human Pose from Foot Pressure

Isaac Han , Seoyoung Lee , Sangyeon Park , Ecehan Akan , Yiyue Luo , Kyung-Joong Kim

This study introduces a novel method of 3D human pose estimation using foot pressure data captured by a low-cost, high-resolution smart insole with over 600 pressure sensors per foot. A deep neural network predicts 3D human poses using only foot pressure data, achieving 7.43 cm average localization error and 96.88% action classification accuracy.

인간 자세 추정 촉각 센싱 발 압력 웨어러블 컴퓨팅 딥러닝

주요 프로젝트

전체 프로젝트 보기 →
지원 연구

VIPCGRL: 인간 정렬 절차적 레벨 생성

공동 주요 연구자 · 2023.09 – 2025.07 · 4인 팀

텍스트·레벨·스케치 멀티모달 공유 임베딩 기반 강화학습으로 인간 스타일에 정렬된 절차적 콘텐츠 생성.

PCGRL 강화학습 멀티모달 대조 학습
지원 연구

스마트 인솔: 촉각 기반 인체 감지

연구 기여자 (공동 저자 2번째) · 2023.10 – 2025.01 · 5인 팀

GIST-MIT 협력 연구. 무선 고해상도 스마트 인솔 센서를 활용한 3D 인체 자세 추정 및 행동 인식.

자세 추정 촉각 센싱 웨어러블 멀티태스크 학습
학술 연구

인간-AI 협업을 위한 자동 커리큘럼 설계

연구 기여자 (저자 3번째) · 2023.09 – 2024.02 · 3인 팀

리턴 기반 유틸리티와 우선순위 동료 샘플링을 통해 제로샷 인간-AI 협업에 멀티 에이전트 UED를 적용.

인간-AI 협업 커리큘럼 학습 멀티 에이전트 강화학습 제로샷 일반화
개인·팀 게임 개발

Arcana Trigger: 하이브리드 덱빌딩 액션 로그라이크

카드 게임 기획·카드 전투·층별 레벨 PCG·통합 개발 · 2026.07 – 2026.08 · 2인 팀

NHN Game × AI Hackathon 예선 출품을 위해 Unity 6/C#으로 개발한 게임 프로토타입. 턴제 카드 전투와 실시간 슈팅이 하나의 전투 상태를 공유합니다.

Unity C# 게임 개발 절차적 생성
산학 협력

삼성 C-Lab: 미술 활동 인식 및 탐지

연구 엔지니어 (학부) · 2022.12 – 2023.03 · 4인 팀

삼성 C-Lab의 미술 창작 행동 인식(HAR)·작품 영역 탐지(PFD) 산학 프로젝트에서 HAR 모델 제안·학습·검증, 모델 변환 및 Android 추론 연동에 참여했습니다.

행동 인식 객체 탐지 모바일 AI 안드로이드