Skip to content

PROJECT_REPORT.md

Latest commit

 

History

History
190 lines (139 loc) · 9.91 KB

PROJECT_REPORT.md

File metadata and controls

190 lines (139 loc) · 9.91 KB
Raw

NVIDIA 로봇 파운데이션 모델 스터디 — 프로젝트 통합 보고서

Pseudo Lab(가짜연구소) · NVIDIA 로봇 파운데이션 모델 스터디

NVIDIA 로봇 Foundation Model(GR00T, Cosmos, IDM)을 ROBOTIS OMX 매니퓰레이터에 적용하고, 모델 간 시너지 파이프라인을 구축하여 로봇 조작 성능을 비교·분석하는 실습 스터디.

스터디 멤버

이름 역할
양유석 Builder · 프로젝트 리더
박우진 Runner (멤버)
김정욱 Runner (멤버)
심규헌 Runner (멤버)
김효빈 Runner (멤버)
양원석 Runner (멤버)
윤희승 Runner (멤버)
김선호 Runner (멤버)
김성훈 Runner (멤버)
김다운 Runner (멤버)
장성숙 Runner (멤버)
박지호 Runner (멤버)

프로젝트 개요 — 두 개의 트랙, 하나의 태스크

스터디는 ROBOTIS Open Manipulator-X(OMX, 5-DoF + 그리퍼)의 "인형 집어 옮기기" (Pick up Dolls) 태스크를 공통 목표로 두 트랙을 병행했다:

트랙 내용 핵심 도구
A. RFM 파인튜닝 실기 시연 데이터를 Cosmos world model로 증강해 GR00T VLA를 파인튜닝, 검증, 배포 Cosmos-Transfer2.5 · SAM3 · GR00T N1.7-3B · H100
B. Sim2Real 시뮬레이션 실기 태스크 환경(로봇 + 인형)을 Isaac Sim에 재현해 시뮬레이션 기반 학습·검증 파이프라인 구축, OMX 동작 구동 Isaac Sim · Hunyuan 3D · Meshy 6 · ROS 2 / MoveIt 2

두 트랙은 같은 물리 대상을 다룬다 — 트랙 A가 실기 카메라로 촬영한 다이소 인형 3종(bear·chick·fish)을, 트랙 B는 같은 인형을 3D 에셋으로 재구성해 가상 환경에 배치했다. 이로써 "실기 데이터 기반 정책(A)을 시뮬레이션(B)에서 안전하게 검증한다"는 Sim2Real 연결 고리가 마련된다.

트랙 A — Cosmos 증강 기반 GR00T 파인튜닝

A-1. 문제와 접근

원본 데이터는 OMX 텔레오퍼레이션 75 에피소드(탑다운 웹캠 640×480@30Hz, 관절 5축 + 그리퍼, LeRobot v2.1)로, 전량이 동일한 책상·조명·배경에서 수집되어 정책이 훈련 환경의 외관에 과적합될 위험이 있었다. 실기 재수집 대신 world model로 외관만 재합성하는 증강을 택했다. 제약은 하나 — 증강 영상이 행동 라벨(관절 궤적)과 프레임 단위로 정합해야 한다.

A-2. 증강 파이프라인

원본 → ① 3초(93프레임) 청크 추출
     → ② SAM3 텍스트 프롬프트("toy","box")로 보존 영역 마스크
     → ③ Cosmos-Transfer2.5 mask-guided generation (물체·팔 픽셀 보존, 배경·조명·재질만 변형)
     → ④ Edge IoU 필터 (임계 0.40)
     → ⑤ 부모 궤적 state/action 슬라이스와 결합, LeRobot 재패키징
  • 7회 파일럿을 거쳐 프롬프트 전략 → 마스크 전략으로 수렴 (프롬프트만으로는 태스크 물체가 변형·소실됨)
  • GR00T의 학습 단위가 "프레임 1장 + 미래 0.53초 액션" 윈도우라는 성질을 활용해 3초 조각 증강이 학습에 유효함을 확인
  • 본 배치: 5종 변형(배경 1·조명 2·재질 2)에 걸쳐 총 450 청크 증강, 필터 통과 100%, H100 ~38시간
  • 산출: 원본 75 + 증강 450 = 525 에피소드 (pseudolab/omx_f_PickUpDoll 기반)

A-3. 증강 효과 — 베이스라인 대조

같은 조건에서 원본만(75)/증강본(525)을 각각 학습해 이중 평가:

평가 (open-loop MSE) 베이스라인 증강본
원본 궤적 (학습 포함) 0.0075 0.0075 (동률)
변형 외관 0.0091 0.0058 (−36%)

→ 원본 성능을 해치지 않으면서 외관 강건성을 유의미하게 개선.

A-4. holdout 과적합 검증과 최종 모델

증강 미사용 원본 5 에피소드를 완전히 제외한 진짜 holdout으로 20k 스텝 곡선을 관측:

스텝 2k 6k 10k 14k 16k 20k
holdout MSE .0179 .0232 .0146 .0103 .0113 .0120
  • 과적합 시작점 ≈ 14k — 최적 학습량을 데이터로 확정 (10k 대비 29% 개선)
  • 최종 모델 = 전체 525 eps × 14k: 원본 궤적 0.0064 / 변형 외관 0.0040

A-5. 추가 실험 — "데이터의 가치는 양이 아니라 분포"

신규 실측 94 eps(omx_f_PickUpDollWith2Cam)를 QC(카메라 역할 뒤바뀜 교정, 60→30fps 리샘플) 후 결합·재학습한 결과 holdout 동률(0.0102) — 같은 태스크·장면·시점의 반복 데이터는 새 정보가 없어 이득이 없음을 대조 실험으로 확인. 향후 수집은 새 배치·물체·시점 위주로 방향 설정.

A-6. 배포

  • HF Hub 공개: pseudolab/GR00T-N1.7-3B-OMX-PickupDolls (12.6GB, 모델 카드 포함)
  • H100 원격 서빙 검증: PolicyServer(ZMQ), 원격 MSE가 로컬과 일치, ~0.4초/16스텝 청크(0.53초 커버 → 근사 실시간)
  • Jetson Thor 임베디드: Docker 방식 반입 패키지(체크포인트 tar + SHA256 + 절차서) 완비, 보드 확보 대기
  • 실기 클라이언트: AI 에이전트가 자율 수행 가능한 구축 가이드 작성

A-7. 운영 교훈 (실패 기록)

  1. 체크포인트 개당 25GB(옵티마이저 포함)로 디스크 풀 → 저장 예산 사전 산정 수칙화
  2. 결합 실험에서 holdout 오염 발생·정정 → "평가 세트가 정말 학습 밖인가" 재확인 절차화
  3. Cosmos3 이행 검토: 후속 모델에 보존 마스크(guided_mask) 경로가 없음을 코드·파일럿으로 확인 (seg 컨트롤 근사는 보존 MAE 81 vs 9.7로 불합격) → 라벨 보존형 증강은 Transfer2.5 유지

트랙 B — Isaac Sim Sim2Real 시뮬레이션

B-1. 목표

실기 태스크 환경(OMX + 다이소 인형 3종)을 NVIDIA Isaac Sim 가상 환경에 재현해, 실기 없이도 정책을 학습·검증할 수 있는 Sim-to-Real 파이프라인을 구축하고 시뮬레이션에서 OMX 로봇 동작을 구동한다. 산출물은 본 저장소(NVIDIA-RFM-Lab)에 공개.

B-2. 2D→3D 에셋 파이프라인 (Assets/Image_to_3D/)

실물 인형 사진에서 시뮬레이션용 3D 모델을 생성:

원본 사진 → [ChatGPT Image 2.0] 전처리 (배경/태그/체인 제거, 조명 정규화)
         → [Hunyuan 3D 1.1] 3D 생성 (~50,000 poly)
         → [Meshy 6] Remesh (폴리곤 최적화)

오브젝트별로 문제를 만나 분기 해결한 것이 실무적 성과다:

오브젝트 흐름 이슈와 해결
bear 표준 흐름 한 번에 성공
chick + Meshy retexture Hunyuan 결과의 고리 중복·색상 오류 → retexture로 보정
fish Meshy 6 직접 생성 Hunyuan 봉제선 문제 → 좌우 반전 2뷰로 Meshy 단독 생성 우회
  • 산출: 텍스처(BaseColor/metallic/roughness) 포함 .fbx/.usd 3종 (Git LFS 관리)

B-3. Isaac Sim 씬과 로봇 구동 (Assets/Sim2Real.usd)

  • 로봇: OMX(omx_f) — ROBOTIS 공식 ROS 2 패키지(open_manipulator/)의 URDF에서 유래한 모델. 관절 5축 + 2지 평행 그리퍼
  • 오브젝트: 위 3D 에셋 3종을 레퍼런스 참조로 배치, 리지드 바디 + 충돌 (Convex Hull/Triangle Mesh) 부여 → 집기·낙하 등 물리 상호작용이 가능한 pick-and-place 태스크 씬
  • 뷰: RTX 렌더 설정과 카메라 북마크(Front/Right/Top/Perspective) — Top 뷰는 실기 데이터의 탑다운 카메라 구도에 대응
  • 제어 스택: open_manipulator/ ROS 2 패키지 (bringup, MoveIt 2 모션 플래닝, 텔레오퍼레이션, 조인트 GUI, 자가 충돌 검사, 커스텀 ros2_control 플러그인) — 시뮬레이션과 실기가 같은 제어 인터페이스를 공유하는 것이 Sim2Real의 핵심 설계

B-4. 트랙 A와의 접점

  • 시뮬레이션의 인형 3종은 트랙 A 실기 데이터의 그 물체들이고, Top 카메라 뷰는 학습 데이터의 탑다운 구도에 대응한다 → 파인튜닝된 GR00T 정책을 Isaac Sim에서 closed-loop으로 돌려보는 안전한 사전 검증 경로가 열려 있다
  • 반대 방향으로, Isaac Sim 렌더링은 새 배치·새 시점의 합성 데이터 생산 수단이 될 수 있다 — 트랙 A의 결론("성능 향상에는 분포 확장 데이터가 필요")을 실행할 도구가 트랙 B에 이미 준비된 셈이다

종합 결론

  1. 모델 시너지 파이프라인 실증 (스터디 목표): world model(Cosmos)이 시퀀스 단위로 데이터를 생산하고 VLA(GR00T)가 순간 윈도우 단위로 소비하는 역할 분담을 실제 파이프라인으로 구축, 외관 과적합 완화를 정량 검증 (OOD MSE −36%)
  2. 재현 가능한 전체 스택 공개: 데이터셋 2종·파인튜닝 모델(HF)·시뮬레이션 에셋·ROS 2 제어 스택(본 저장소)까지 — 실기가 없어도 스터디 결과를 따라갈 수 있다
  3. 방법론 확립: holdout 기반 최적 학습량 결정, 베이스라인 대조 이중 평가, 데이터 증분의 가치 판별(분포 확장 여부) 절차
  4. Sim2Real 기반 마련: 동일 태스크의 가상 재현으로 정책 사전 검증과 분포 확장 데이터 생산의 토대 구축

남은 과제

  • 파인튜닝 정책의 Isaac Sim closed-loop 검증 (트랙 A×B 결합)
  • 실기 closed-loop 성공률 측정 및 실패 패턴 기반 교정 데모 수집
  • Jetson Thor 임베디드 배포 (보드 확보 시)
  • Isaac Sim 렌더링 기반 분포 확장 데이터(새 배치·시점) 생산 실험

라이선스: 본 저장소 MIT (© 2026 가짜연구소 / Pseudo Lab), open_manipulator/는 ROBOTIS 원본 라이선스.