스마트 인솔: 촉각 기반 인체 감지

동기

비전 기반 자세 추정은 폐색 및 프라이버시 문제가 있습니다. 웨어러블 인솔의 발 압력 데이터는 위치 독립적인 프라이버시 보호 대안을 제공합니다. 이 GIST-MIT 공동 연구는 발 접촉만으로 전신 3D 자세를 얼마나 복원할 수 있는지 탐구했습니다.

방법

Smart Insole (NeurIPS Workshop 2024): 좌우 발 압력 프레임을 이중 CNN 인코더로 처리 → 3D 히트맵 디코더로 19개 키포인트 예측. 고정된 인코더 위 선형 프로브로 행동 분류(96.88% 정확도).

SCOTTI (arXiv 2025) — 확장: CNN+Transformer(SCOTTI)로 세 과제(자세 추정, 행동 분류, 행동 진행도 예측)를 동시에 최적화. 촉각 신호에서의 행동 진행도 예측은 최초 사례.

결과 및 기여

• 7가지 행동에서 평균 7.43 cm 자세 추정 오차.
• 선형 프로브 행동 분류 96.88% 정확도.
• 촉각 신호 기반 행동 진행도 예측 최초 제안.
• 데이터셋: 참가자 15명, 200,000+ 동기화 프레임 (오픈소스 예정).