이서영

GIST AI 대학원 석사

서울, 대한민국

AI 엔지니어 · 연구자

이서영 Seo-Young Lee

연구와 구현을 함께 다루는 AI 엔지니어입니다. GIST 석사 과정에서 강화학습·멀티모달 학습을 연구하며 인간과 자연스럽게 상호작용하는 에이전트를 개발해 왔습니다 — 자연어 기반 절차적 콘텐츠 생성과 인간-AI 협력부터 촉각 신호 기반 3D 자세 추정까지. 지각·언어·의사결정이 교차하는 문제에 관심을 가지고 있으며, PyTorch·JAX를 활용한 실전 경험을 바탕으로 여러 도메인의 문제를 해결해 왔습니다.

강화학습절차적 콘텐츠 생성멀티모달 표현 학습인간-AI 상호작용인체 자세 추정

소식

학력

2023–2025

인공지능 석사

광주과학기술원(GIST)

GPA 4.20 / 4.50 · 지도교수: 김경중 교수

2017–2023

컴퓨터공학 학사

동국대학교

GPA 3.96 / 4.50 · 전공 GPA 4.25 / 4.50

연구 경험

2025–2026

연구조교

인지지능연구실, GIST · 광주

졸업 후 게임 AI 및 인간 정렬 에이전트 연구 (2025.09 – 2026.01).

2023–2025

대학원 연구원 (석사)

인지지능연구실, GIST · 광주

강화학습 기반 PCG, 멀티모달 표현 학습, 인간-AI 정렬; GIST–MIT 촉각 센싱 협력. NRF 연구장려금 PI.

2020–2023

학부 연구생

인공지능연구실, 동국대학교 · 서울

연구비 지원

2024–2025

한국연구재단 석사과정생 연구장려금 · ₩12,000,000

한국연구재단 · 주관 연구자 (PI)

자연어-보상함수 임베딩을 활용한 명령기반 에이전트 연구

Instruction Agent Research based on Natural Language-Reward Function Embedding

주요 논문

전체 보기 →
심사 중 2025 · IEEE Transactions on Games (ToG)

Human-Aligned Procedural Level Generation RL via Text-Level-Sketch Shared Representation

In-Chang Baek* , Seo-Young Lee* , Sung-Hyun Kim , Geumhwan Hwang , Kyung-Joong Kim

Human-aligned AI is a critical component of co-creativity. This paper proposes VIPCGRL (Vision-Instruction PCGRL), a novel deep RL framework that incorporates three modalities — text, level, and sketches — to extend control modality and enhance human-likeness in procedural content generation. A shared embedding space is trained via quadruple contrastive learning across modalities and human-AI styles. The policy is aligned using an auxiliary reward based on embedding similarity. Experimental results show VIPCGRL outperforms existing baselines in human-likeness and demonstrates zero-shot cross-modal generalization.

절차적 콘텐츠 생성 강화학습 멀티모달 표현 학습 인간-AI 정렬 대조 학습
게재됨 2025 · IEEE Conference on Games (CoG 2025)

IPCGRL: Language-Instructed RL for Procedural Level Generation

In-Chang Baek , Sung-Hyun Kim , Seo-Young Lee , Dong-Hyeon Kim , Kyung-Joong Kim

IPCGRL introduces a language-instructed PCGRL framework that uses sentence embeddings to condition a deep RL agent for procedural level generation. IPCGRL fine-tunes task-specific embedding representations to compress game-level conditions from natural language, achieving up to 21.4% improvement in controllability and 17.2% improvement in generalizability for unseen instructions.

절차적 콘텐츠 생성 강화학습 자연어 처리 명령어 추종
게재됨 2024 · NeurIPS Workshop on Touch Processing: From Data to Knowledge (2024)

Smart Insole: Predicting 3D Human Pose from Foot Pressure

Isaac Han , Seoyoung Lee , Sangyeon Park , Ecehan Akan , Yiyue Luo , Kyung-Joong Kim

This study introduces a novel method of 3D human pose estimation using foot pressure data captured by a low-cost, high-resolution smart insole with over 600 pressure sensors per foot. A deep neural network predicts 3D human poses using only foot pressure data, achieving 7.43 cm average localization error and 96.88% action classification accuracy.

인간 자세 추정 촉각 센싱 발 압력 웨어러블 컴퓨팅 딥러닝

주요 프로젝트

전체 프로젝트 보기 →
지원 연구

VIPCGRL: 인간 정렬 절차적 레벨 생성

공동 주요 연구자 · 2023.09 – 2025.07 · Team of 4

텍스트·레벨·스케치 멀티모달 공유 임베딩 기반 강화학습으로 인간 스타일에 정렬된 절차적 콘텐츠 생성.

PCGRL 강화학습 멀티모달 대조 학습
지원 연구

스마트 인솔: 촉각 기반 인체 감지

연구 기여자 (공동 저자 2번째) · 2023.03 – 2025.07 · Team of 5

GIST-MIT 협력 연구. 무선 고해상도 스마트 인솔 센서를 활용한 3D 인체 자세 추정 및 행동 인식.

자세 추정 촉각 센싱 웨어러블 멀티태스크 학습
학술 연구

인간-AI 협업을 위한 자동 커리큘럼 설계

연구 기여자 (저자 3번째) · 2023.09 – 2024.08 · Team of 3

리턴 기반 유틸리티와 우선순위 동료 샘플링을 통해 제로샷 인간-AI 협업에 멀티 에이전트 UED를 적용.

인간-AI 협업 커리큘럼 학습 멀티 에이전트 강화학습 제로샷 일반화
산학 협력

삼성 C-Lab: 미술 활동 인식 및 탐지

연구 엔지니어 (학부) · 2022.03 – 2022.12 · Team of 4

삼성 C-Lab 산학협력. 미술 창작 행동 인식(HAR)과 작품 영역 탐지(PFD) Android 앱 개발.

행동 인식 객체 탐지 모바일 AI 안드로이드