[ Ongoing Projects ]

Ongoing Projects

  • 프로젝트 명

    경량 VLA의 Long-Horizon Task 수행을 위한 VLM 기반 계층형 제어 시스템

  • 분야

    로봇 제어 모델의 발전에 따른 복합 지시 수행 기술의 필요성 증가
    • - 시각 정보와 언어 지시를 로봇의 행동으로 직접 연결하는 모델이 빠르게 발전하면서 Long-Horizon Task 수행 능력에 대한 수요가 확대되고 있음
    • - Long-Horizon Task와 같은 장기 과제에서는 한 단계의 실패가 과제 전체의 실패로 전파되어 실행 성공률이 급격히 하락하는 한계가 보고되고 있음
    단독 실행 구조와 기존 계층형 제어 연구의 한계
    • - 단독 실행 구조는 복합적인 지시를 하위 동작으로 분해하는 명시적인 외부 계획과 실행 실패를 복구하는 재계획 루프를 갖추지 못해 실패가 그대로 전파되는 문제가 있음
    • - 계획 모듈과 실행 모듈을 결합한 기존 연구는 대형 실행 모듈과 추가 학습을 전제로 하므로, 재학습 없이 경량 모델에 적용 가능한 제어 기법이 요구됨

  • 연구내용

    오픈소스 VLM 계획 모듈과 경량 VLA 실행 모듈 구축
    • - LIBERO 시뮬레이션 환경과 LeRobot 프레임워크로 실험 파이프라인을 구성하고, 경량 VLA 모델인 SmolVLA를 적용하여 Long-Horizon Task 벤치마크인 LIBERO-Long의 Baseline 성공률 측정 환경을 구축함
    • - 오픈소스 VLM인 Qwen3-VL에 장면 이미지와 복합 지시를 입력하여 하위 지시 시퀀스를 생성하는 프롬프트 구조를 설계하고, 출력을 정형화된 JSON으로 제한하는 파서와 형식 변환 계층을 구현함
    지시 복잡도 기반의 하이브리드 라우팅 및 재계획 제어 루프 구현
    • - 시뮬레이터 내부 상태 조회와 Qwen3-VL 기반 시각 판정을 병행하여 각 단계의 성공 여부를 판정하는 상태 관리 라우팅과, 실패 감지 시 현재 장면 이미지를 재입력하여 계획을 수정하는 재계획 메커니즘을 구현함
    • - 단일 동작으로 수행 가능한 지시는 계획 모듈을 경유하지 않는 라우팅 정책을 설계하고, LIBERO-Long에서 SmolVLA 단독 구조와 성공률을 비교하는 어블레이션 분석으로 각 구성요소의 기여도를 검증함

    < 경량 VLA의 Long-Horizon Task를 위한 VLM 기반 계층형 제어 흐름도 >