← 목록으로

600번의 실험으로 알아낸 JEPA 월드 모델의 특성

요약
  • LeWM의 Push-T 실험을 통해 예측 모델 개선보다 장기 과제를 25스텝 단위의 하위 목표로 분할하고 메모리 그래프를 활용하는 계획 방식의 변경이 더 효과적임이 확인되었습니다.
  • 이 방식을 통해 재학습 없이도 성공률을 22%에서 85%로 대폭 향상시켰으며, 이는 JEPA 월드 모델의 계획 효율성을 입증한 결과입니다.
  • LeWM의 Push-T 실험에서는 예측 모델 개선보다 계획 방식 변경이 더 큰 효과를 냄. 학습 데이터와 유사한 경로에서 적절한 하위 목표를 제공하면, 학습된 예측기로도 시뮬레이터의 정확한 물리와 비슷한 성공률을 얻음
  • 장기 과제를 25스텝 단위 하위 목표로 나누고, 시연을 연결한 메모리 그래프에서 경로를 찾는 방식으로 재학습 없이 성공률을 22%에서 85%로 높임
  • 표준 Push-T 평가는 목표가 기존 시연 경로에 놓이는 경우가 많음. 서로 다른 시연에서 시작점과 목표를 가져오고 마지막 10스텝 동안 목표를 유지하도록 요구하자, 메모리 그래프 계획기의 성공률이 75%에서 45% 로 낮아짐
  • 저장된 시연을 이동/회전/반사해 부족한 경로를 채우는 변환 메모리는 더 어려운 평가의 성공률을 45%에서 56%로 높임
  • 목표 이미지 속 푸셔 위치까지 맞추는 비용 함수가 블록 배치를 방해할 수 있음. 목표는 단일 이미지보다 과제를 만족하는 최종 상태들의 집합이어야 함
JEPA의 예측력과 계획 방식 분리하기
  • 생성형 월드 모델은 미래를 주로 픽셀로 생성하지만, Yann LeCun 등의 접근은 행동 결정에 불필요하거나 예측 불가능한 픽셀까지 생성할 필요가 없다는 데서 출발함
  • JEPA는 인코더, 예측기, 계획기로 구성되며 전체 계획 과정을 임베딩 공간에서 수행함
    • 인코더는 관측 프레임을 장면을 나타내는 압축 벡터로 변환함
    • 예측기는 현재 임베딩과 행동으로 다음 프레임의 임베딩을 예측함
    • 계획기는 수백 개 행동 시퀀스를 시험하고, 예측된 최종 상태가 목표 임베딩에 가장 가까운 시퀀스를 선택함
  • LeWM은 LeCun이 참여한 팀의 JEPA 월드 모델로, 주요 평가 환경은 Push-T임
    • 로봇의 파란 원형 푸셔로 회색 T자 블록을 밀어, 목표 이미지에 표시된 초록색 T자 위치에 맞추는 과제임
    • 수개월에 걸쳐 600번의 실험으로 예측기와 계획 방식의 영향을 비교함
  • 목표가 75스텝 떨어진 장기 과제 250개에서 전문가 시연의 프레임을 25스텝마다 하위 목표로 제공한 초기 비교에서는, 기본 LeWM이 78%, 정확한 물리로 교체한 버전이 77% 의 성공률을 기록함
    • 학습된 경로 유형에서는 LeWM의 예측이 계획에 필요한 수준으로 이미 정확했음
    • 이후 실험은 모델 가중치를 바꾸지 않고 학습된 구조를 활용하는 방식에 집중함
25스텝 하위 목표로 장기 계획 연결하기
  • LeWM은 25스텝 거리의 목표에서 89.7%의 성공률을 기록해, 정확한 물리 버전의 90.5%와 1%포인트 이내 차이를 보임
  • 목표가 75스텝 떨어진 동일한 장기 과제 250개에서, 한 번에 전체 경로를 계획하는 것보다 하위 목표로 분할하는 편이 훨씬 효과적이었음
    • 공개된 방식 그대로 75스텝을 계획한 LeWM은 22% 성공함
    • 예측기를 정확한 물리로 교체하면 42%로, 20%포인트 높아짐
    • LeWM에 25스텝마다 새로운 하위 목표를 주면 80%로, 58%포인트 높아짐
  • 계층적 계획은 상위 단계가 하위 목표를 고르고 하위 단계가 이를 달성하는 방식이며, 각 탐색을 LeWM이 정확하게 처리할 수 있는 약 25스텝 범위 안에 유지함
  • 단순히 탐색량을 늘리는 것으로는 같은 효과를 얻지 못함
    • 계획기를 네 번 실행해 비용이 가장 낮은 계획을 선택해도 계산량만 네 배가 되고 성공률 상승은 1%포인트 미만이었음
    • 네 실행은 거의 항상 함께 성공하거나 함께 실패함
  • 이 실험의 하위 목표는 전문가 시연에서 가져왔으므로, 배포된 로봇이 해당 과제의 시연을 갖고 있지 않은 상황에서는 다른 목표 선택 방법이 필요함
시연 메모리 그래프와 점프 비용
  • LeWM의 인코더로 학습용 전문가 시연을 변환한 약 46만 개 상태를 그래프로 연결함
    • 같은 시연에서 뒤따르는 상태와, 다른 시연에서 임베딩이 가까운 상태를 연결함
    • 현재 상태에서 목표까지 그래프 경로를 찾고, 경로상의 상태를 하위 목표로 사용함
  • 임베딩 거리는 물리적 도달 가능성을 어느 정도 반영함
    • 25스텝 안에 도달 가능한 하위 목표와 불가능한 하위 목표를 비교하면, 도달 가능한 쪽을 더 가깝게 평가하는 비율이 87%였음
  • 초기 그래프는 서로 다른 시연 사이의 점프 비용을 실제 한 스텝과 같게 취급해, 블록이 물리적으로 따라갈 수 없는 경로를 만들었음
    • 계획 1,015개 중 318개가 시연 사이 점프를 6회 이상 사용하려 했음
  • 시연 간 점프마다 추가 비용을 부과하자, 동일한 75스텝 장기 과제 250개의 성공률이 62%에서 85%로 높아짐
    • 과거 시연의 LeWM 임베딩만 사용했으며, 해당 비교에서 전문가 하위 목표를 받은 계획기도 85%를 기록함
표준 Push-T 평가의 한계와 더 어려운 시험
  • 표준 평가는 한 시연의 중간 상태에서 시작해 같은 시연에서 일정 스텝 뒤의 상태를 목표로 삼음
    • Push-T의 모든 시연은 블록이 같은 위치에 도달하며 끝나므로, 평가 목표도 그 종착점으로 향하는 기존 시연 경로에 놓임
    • 표준 목표의 84% 는 메모리 그래프에 다른 시연의 거의 동일한 상태가 이미 있었음
  • 표본 크기와 무작위 시드에 따라서도 결과가 크게 달라짐
    • 목표가 50스텝 떨어진 공식 50개 에피소드에서는 LeWM이 68% 성공했지만, 같은 방식으로 새로 뽑은 250개에서는 44%였음
    • 계획기의 무작위 시드만 바꿔도 250개 중 38개 에피소드의 성공 여부가 뒤집힘
  • 더 어려운 평가는 서로 다른 시연에서 시작점과 목표를 가져와, 단일 시연이 연결하지 않는 상태 사이를 이동하도록 함
    • 마지막 10스텝 동안 블록이 목표 위에 머물러야 성공으로 인정함
    • 이 성공 기준에서 메모리 그래프 계획기는 표준 과제에서 75%, 새로운 과제에서 45% 성공함
변환한 시연으로 메모리의 빈 구간 채우기
  • 메모리 그래프는 목표 주변 상태의 확보 여부에 크게 의존함
    • 목표 근처의 저장 상태를 모두 제거한 실험에서는 성공률이 93%에서 32%로 떨어짐
  • Push-T에서는 장면 전체를 이동/회전/반사해도 블록을 미는 물리가 달라지지 않는 대칭성을 활용할 수 있음
    • 다른 위치의 시연 구간을 빈 구간에 맞게 변환해 그래프에 추가하자 성공률이 85%로 회복됨
    • 시연의 1%와 변환 복사본으로 만든 그래프는 시연의 10%로 만든 그래프와 비슷한 성능을 냄
  • 더 어려운 평가에서는 변환된 구간이 전체 성공률을 45%에서 56% 로 높였으며, 시연이 부족한 방향에서 특히 도움이 됨
    • 시연의 진행 방향과 같은 쪽에 목표가 있으면 기존 메모리만으로도 69% 성공함
    • 진행 방향을 가로지르는 목표는 39%에서 54%로 높아짐
    • 반대 방향의 목표는 27%에서 46%로 높아짐
목표 이미지의 푸셔 위치가 만드는 비용 함수 문제
  • 임의의 블록 위치와 목표를 지정하는 대화형 데모에서, 로봇이 블록을 목표의 14픽셀 이내까지 밀어 성공 조건을 충족한 뒤 다시 밀어내는 동작이 관찰됨
    • 로봇은 목표 이미지에 그려진 푸셔 위치를 향해 계속 이동했음
    • 전문가 시연 프레임을 목표로 쓰는 어려운 평가에도, 당시 전문가의 푸셔 위치가 함께 들어 있음
  • 동일한 어려운 과제 50개를 정확한 물리 계획기로 두 번 실행하고, 비용 함수의 푸셔 위치 포함 여부만 바꿔 비교함
    • 블록과 푸셔를 함께 평가하면 9/50개(18%), 블록만 평가하면 39/50개(78%) 성공함
    • 푸셔를 제외했을 때만 성공한 과제는 30개였고, 반대로 실패로 바뀐 과제는 없었음
    • 이 정도의 차이가 우연히 발생할 확률은 약 10억 분의 2였음
  • 실패에서 성공으로 바뀐 30개 과제에서, 푸셔를 포함한 계획기는 푸셔를 목표 위치의 0.5픽셀 이내로 옮겼지만 그 과정에서 블록을 목표 밖으로 밀어냄
    • 예측 오차가 아니라 목표 구성 방식에서 약 네 배의 성공률 차이가 발생함
    • T자 블록과 푸셔를 모두 정확한 목표 위치에 놓는 것은 블록만 배치하는 것보다 훨씬 어려운 과제임
  • LeWM의 목표 임베딩은 블록과 푸셔 정보를 함께 담으며, 푸셔만 구분해 제거할 수 있는 부분이 없음
    • 대안으로 블록 위치는 고정하고, 저장된 시연에서 가져온 푸셔 위치를 적용한 목표 이미지 16개를 만듦
    • 예측 상태와 가장 가까운 목표 이미지의 임베딩 거리를 비용으로 사용하자, 재학습 없이 더 어려운 평가의 LeWM 성공률이 11%에서 23%로 높아짐
  • 목표는 단일 이미지의 복제가 아니라 과제를 만족하는 최종 상태들의 집합이어야 함
    • “컵을 선반에 놓기”는 로봇 팔의 최종 위치가 달라도 성공할 수 있지만, 목표 이미지 하나는 특정 팔 위치까지 요구함
    • 동시에 마지막에 정지하기처럼 과제에 필요한 로봇의 조건은 유지해야 함
    • 대규모 시연에는 물체 위치는 같고 로봇 위치는 다른 실제 프레임들이 있으므로, 그중 가장 가까운 상태로 평가하면 허용 가능한 최종 상태를 넓힐 수 있음
남은 과제는 시연 밖의 하위 목표 생성
  • 네 가지 방법 모두 모델 가중치 변경이나 추가 학습 없이 공개된 LeWM에 적용함
    • 같은 방식으로 계획하는 더 큰 JEPA 월드 모델에도 적용될 것으로 기대하지만, 이 실험의 대상은 LeWM임
  • 가장 큰 미해결 문제는 완벽한 시연이 없는 과제로의 일반화임
    • 더 어려운 Push-T 평가에서 최선의 계획기는 56%의 과제에서 블록을 목표 위에 유지함
    • 남은 실패 대부분은 데이터의 진행 방향을 거스르는 목표에서 발생함
  • 격차를 줄이려면 시연 밖의 하위 목표를 스스로 제안하는 상위 단계가 필요함
    • H-JEPA 같은 학습 기반 계층 구조는 지금까지 Push-T에서 단일 계층 LeWM과 비슷하거나 약간 높은 성능에 머묾
  • 몇 시간 안에 학습할 만큼 작은 JEPA도 실험한 경로에서는 시뮬레이터에 가까운 계획 성능을 냈으며, 계획 방식 변경만으로 여러 개선이 가능했음
    • 아직 해결하지 못한 부분은 시연이 없는 영역에서 자체적으로 하위 목표를 선택하는 능력임
그냥 목록으로
원문 보기 ↗