스프쌤
오픈소스

MS Code Video Model 공개, 프롬프트 대신 코드로 물리 제어

✍ 야금야금⏱ 13분 소요2026-11-04👁
← 목록으로 돌아가기

자연어 프롬프트에 '유리잔이 바닥에 떨어져 깨진다'고 입력했을 때, AI는 왜 공중에 뜬 채 슬라임처럼 녹아내리는 오류를 반복해 왔을까요?

✦ AI Key Summary & Global Takeaways

이 아티클의 핵심 내용 요약과 글로벌 검색·AI 엔진을 위한 테이크어웨이입니다.

✦ KR 주제: Code Video Model 기반의 물리 정합 비디오 생성

✦ KR 핵심 요약: 마이크로소프트의 Code Video Model은 자연어 프롬프트의 확률적 환각을 탈피하기 위해 Three.js 코드로 물리 엔진과 카메라 궤적을 먼저 정의합니다. Playwright로 생성된 저비용 프록시 영상을 MiniMax-H3 확산 모델의 조건부 가이드로 주입하여, 물리 법칙을 엄격히 준수하는 고품질 영상을 일관되게 생성합니다.

🌐 Global Takeaway: Microsoft's Code Video Model bridges the physical coherence gap in generative AI by steering diffusion models with deterministic Three.js simulations. By decoupling trajectory and collision logic into executable code proxies before feeding them into MiniMax-H3, it turns prompt gambling into an engineering workflow.

아래 그림은 프롬프트 기반 생성과 코드 기반 생성 파이프라인의 핵심 구조적 차이를 보여줍니다.

순수 프롬프트 생성 vs Code Video Model
프롬프트 기반 생성
  • 자연어 해석 의존
  • 객체 변형 및 관통 발생
  • 원인·결과 통제 불가
  • 매번 전체 재렌더링
VS
Code Video Model
  • Three.js 코드 설계
  • 물리 방정식 기반 충돌
  • 카메라 궤적 핀포인트 수정
  • 1분 프록시 사전 검증
확률적 픽셀 예측 방식과 확정적 3D 물리 시뮬레이션 기반 렌더링의 구조적 차이
Code Video Model 3단계 계층 구조
1계층: Three.js 시뮬레이션물리 방정식, 객체 좌표, 재질 속성, 카메라 키프레임 연산
2계층: Headless 브라우저 렌더Playwright 기반 초고속 프록시 비디오(code_video.mp4) 추출
3계층: Diffusion 렌더링MiniMax-H3 신경망을 통한 텍스처 합성 및 고화질 비디오 완성
상위 3D 물리 공간부터 하위 신경망 비디오 확산 모델까지 이어지는 제어 흐름

1. 픽셀 예측이 빚어낸 가짜 물리학의 한계

비디오 생성 AI 모델이 Sora, Lumiere, Kling 등으로 진화하면서 육안으로 식별하기 어려운 고해상도 영상을 단 몇 줄의 텍스트로 합성할 수 있게 되었습니다. 털 한 올의 질감이나 석양빛이 수면에 반사되는 광학 효과는 실사를 방불케 하지만, 생성된 장면을 프레임 단위로 분해해 보면 기괴한 결함이 끊이지 않고 나타납니다. 컵이 테이블 위를 마찰력 없이 미끄러지거나, 걸어가던 사람의 발이 바닥 속으로 함몰되고, 단단한 물체 두 개가 유령처럼 서로를 통과해 버리는 현상입니다.

이러한 왜곡이 발생하는 근본 이유는 기존 텍스트 투 비디오(Text-to-Video) 모델이 시공간 패치 간의 통계적 상관관계만을 학습했기 때문입니다. 확산 트랜스포머(Diffusion Transformer) 계열 모델은 수억 개의 동영상 데이터셋에서 픽셀과 픽셀이 시간 축에서 어떻게 이어지는지 패턴을 외웠을 뿐, 질량 보존, 중력가속도, 충돌 탄성, 운동량 보존과 같은 현실 세계의 물리 방정식을 연산하지 않습니다. 그 결과 4K 수준의 시각적 미학 속에서도 물리적 상호작용은 비합리적으로 무너집니다.

OpenAI 역시 차세대 비디오 모델 개발 과정에서 농구공이 림을 빗나갔음에도 네트 속으로 순간이동해 빨려 들어가는 현상을 아키텍처적 결함의 대표 사례로 지목한 바 있습니다. 모델은 공이 림에 맞고 튕겨 나가는 연속적 인과 과정을 알지 못하고, '농구공'과 '골대'라는 단어가 주어졌을 때 최종적으로 연상되는 결과 픽셀만을 끼워 맞추기 때문입니다.

2. Code Video Model의 접근법: 코드로 물리 상태를 강제하다

마이크로소프트(MS) 연구진이 2026년 10월 깃허브(GitHub)와 허깅페이스를 통해 공개한 Code Video Model(CVM)은 비디오 생성의 패러다임을 '자연어 해석'에서 '실행 가능한 코드 시뮬레이션'으로 전환했습니다. 모델에게 텍스트를 보고 물리적 인과를 상상하라고 요구하는 대신, 자바스크립트 기반의 3D 웹 그래픽 라이브러리인 Three.js 코드로 장면의 기하학적 뼈대를 먼저 구축하는 방식입니다.

코드 비디오 생성 워크플로
1. 파라미터 코딩Three.js로 좌표·중력·카메라 작성
2. 프록시 검증1분 미만 저비용 와이어프레임 확인
3. 핀포인트 수정원하는 물리 변수만 정밀하게 튜닝
4. 신경망 렌더링MiniMax-H3로 사실적 디테일 합성
↻반복
코드 수정과 프록시 확인을 거쳐 최종 비디오를 생성하는 피드백 루프

Code Video Model 파이프라인의 핵심은 '프록시 비디오(Proxy Video)'의 생성과 주입에 있습니다. 사용자가 원하는 연출(스포츠카의 드리프트, 탱크 탑승, 로봇 내비게이션 등)을 Three.js 스크립트로 정의하면, 헤드리스 브라우저 엔진이 이를 초당 30프레임 안팎의 저해상도 3D 애니메이션 비디오로 사전 렌더링합니다. 이 프록시 영상에는 객체의 정확한 3차원 위치 좌표, 회전 각도, 속도 벡터, 카메라 화각(FOV) 이동 경로가 확정된 상태로 기록됩니다.

신경망 확산 모델은 이제 백지상태에서 픽셀을 무작위로 복원하는 것이 아니라, Three.js 프록시 비디오를 구조적 조건(Conditioning signal)으로 삼아 그 위에 텍스처, 조명, 사실적인 재질을 덧입히는 작업만 수행합니다. 물리 시뮬레이션은 결정론적 연산 엔진에 맡기고, AI는 시각적 완성도만을 담당하도록 역할을 명확히 분리한 것입니다.

"확률적 확산 모델에 물리 법칙을 완전히 외우도록 강제하는 것은 비효율적입니다. 물리적 시공간의 뼈대는 코드로 연산하고, 신경망은 그 위에 사실적인 픽셀 옷을 입히는 분업 체계가 현실적인 해법입니다."

3. 기존 제어 기법과의 구조적 차이

물리 법칙과 카메라 제어를 위해 학계에서는 대규모 멀티모달 모델(VLM)을 비평가로 투입하는 'MM-CoT(Multimodal Chain-of-Thought)' 방식이나, 엔비디아의 '파이시스-랭(Physis-Lang)'처럼 캡션 자체에 물리 법칙(열전도, 중력 작용 등)을 서술해 파인튜닝하는 언어 기반 추론 방식을 시도해 왔습니다.

제어 방식 물리 구현 메커니즘 카메라 궤적 제어 장점 구조적 한계
프롬프트 엔지니어링 텍스트 캡션 확률 매칭 카메라 용어 서술 접근성이 높음 관통·순간이동 오류 빈번
VLM 피드백 루프 (MM-CoT) VLM이 물리 오류 지적 후 재생성 프롬프트 재생성 유도 모델 수정 없이 적용 가능 반복 생성으로 인한 높은 계산 비용
언어 기반 물리 추론 (Physis-Lang) 원인·결과·역학을 캡션에 주입 간접적 텍스트 유도 데이터셋 차원의 물리 지능 향상 프레임 단위 미세 좌표 통제 불가
Code Video Model (MS CVM) Three.js 결정론적 물리 엔진 3D 키프레임 좌표 지정 핀포인트 수정 가능, 1분 프록시 점검 3D 코드 작성 및 환경 구성 필요

기존의 VLM 검증 방식은 결과물이 잘못되었을 때 전체 고해상도 영상을 다시 렌더링해야 하므로 막대한 GPU 자원과 시간이 낭비됩니다. 반면 Code Video Model은 수십 줄의 Three.js 파라미터(중력 수치, 마찰 계수, 카메라 렌즈 타깃)를 텍스트 편집기에서 수정하고 1분 이내에 프록시 동영상으로 결과를 즉시 확인할 수 있습니다.

영상 제작 시뮬레이션 제어 효율성
프록시 생성 속도 개선
85%
카메라 궤적 일치율
92%
물리적 충돌 오류 감소
78%
기존 비디오 확산 모델 대비 제어 정밀도 및 사전 검증 속도 비교 지표

3-1. MiniMax-H3와의 결합 구조

Code Video Model 저장소는 최종 비디오 렌더링 백엔드로 MiniMax-H3-ref2va 체크포인트를 사용합니다. 이 모델은 참조 이미지(Reference Image) 1장과 Three.js 프록시 비디오(code_video.mp4), 그리고 세부 스타일을 지시하는 텍스트 프롬프트를 동시에 입력받아 최종 클립을 합성합니다.

3D 엔진에서 렌더링된 와이어프레임이나 단순 셰이딩 모델이 프록시 영상으로 전달되면, 확산 모델의 교차 어텐션(Cross-Attention) 계층이 이를 가이드 삼아 참조 이미지 속 피사체의 고유 디테일(차량의 도색, 반사광, 배경 텍스처)을 프레임 전체에 일관되게 투사합니다. 이를 통해 물리적으로 일관성을 유지하면서도 그래픽 툴 특유의 이질감 없는 자연스러운 영상이 완성됩니다.

4. 로컬 환경 구축 및 실행 파이프라인

Code Video Model 공식 깃허브 저장소를 로컬 머신에 설정하고 실행하는 전체 절차는 다음과 같습니다. 공식 문서에서는 리눅스 Ubuntu 22.04 환경과 CUDA 12.6을 지원하는 엔비디아 드라이버를 기본 요구 사양으로 권장합니다.

4-1. 환경 구성 및 의존성 패키지 설치

먼저 저장소를 복제하고 Conda 가상환경을 생성한 뒤, FFmpeg 라이브러리와 호환되는 PyTorch 버전을 설치합니다. 프록시 비디오 렌더링을 위해 브라우저 자동화 도구인 Playwright의 크로미움 바이너리도 함께 설치해야 합니다.

git clone https://github.com/code-video-model/CodeVideoModel.git
cd CodeVideoModel
conda create -n cvm python=3.10 -y
conda activate cvm
conda install -c conda-forge "ffmpeg>=6" -y
python -m pip install --upgrade pip
python -m pip install torch==2.7.1 torchvision==0.22.1 torchaudio==2.7.1 --index-url https://download.pytorch.org/whl/cu126
python -m pip install -r requirements.txt
python -m playwright install chromium

4-2. 가중치 다운로드 및 추론 실행

환경 구성이 완료되면 사전 학습된 MiniMax-H3 모델 가중치를 다운로드하고 번들 예제를 통해 비디오 생성을 실행합니다. 제공되는 기본 예제 디렉터리에는 스포츠카(sports_car), 탱크 탑승(tank_boarding), 다락방 투어(loft_tour), 로봇 내비게이션(robot_navigation) 등이 포함되어 있습니다.

python download_h3.py --output models/MiniMax-H3-ref2va

example=tank_boarding
python -m inference.generate_video \
  --code-video "examples/${example}/code_video.mp4" \
  --reference-image "examples/${example}/reference.png" \
  --prompt-file "examples/${example}/prompt.txt" \
  --model-root models/MiniMax-H3-ref2va \
  --keep-steps 5 \
  --output "outputs/${example}"

추론 명령어를 실행하면 Three.js 비디오에서 추출된 프레임 시퀀스가 잠재 공간의 가이드로 주입되며, 지정된 스텝 수에 따라 노이즈 제거 과정을 거쳐 최종 렌더링 비디오가 outputs/ 경로에 저장됩니다.

5. 도입 시 고려해야 할 한계와 과제

Code Video Model은 물리적 일관성과 카메라 제어성 측면에서 괄목할 진전을 이루었으나, 실무 파이프라인에 전면 도입하기 전에 검토해야 할 제약 사항들이 존재합니다.

  • 3D 시뮬레이션 코드 작성의 진입 장벽: 사용자가 직접 Three.js 좌표계와 애니메이션 로직을 다룰 수 있어야 합니다. 프롬프트만으로 작업하던 비전문 크리에이터에게는 자바스크립트 및 3D 그래픽스에 대한 기술적 이해가 추가적인 학습 비용으로 작용합니다.
  • 복잡한 유체 및 비정형 물체의 표현 한계: 강체(Rigid Body) 간의 충돌이나 차량 주행, 고정된 카메라 궤적은 Three.js로 정밀하게 제어할 수 있지만, 물이나 연기, 폭발, 옷감의 미세한 주름과 같은 유체·연성체 시뮬레이션은 코드로 사전에 완벽히 정의하기 어렵습니다.
  • 하드웨어 및 렌더링 인프라 요구량: 로컬 환경에서 MiniMax-H3 확산 모델을 원활하게 구동하기 위해서는 고용량 VRAM(최소 24GB 이상)을 갖춘 최신 엔비디아 GPU가 필수적입니다.
  • 참조 이미지와의 스타일 정렬 문제: 3D 프록시가 지시하는 객체의 외형 구조와 주입된 참조 이미지(reference.png) 간의 기하학적 형태 차이가 클 경우, 경계면에서 텍스처 번짐이나 왜곡 현상이 발생할 수 있습니다.

6. 결론: 생성형 비디오가 엔지니어링 도구로 변모하는 분기점

지금까지의 비디오 생성 AI는 원하는 장면이 나올 때까지 수십 번 프롬프트를 고쳐 쓰며 확률에 의존하는 '슬롯머신' 방식에 가까웠습니다. 물리적 충돌 오류와 제어 불가능한 카메라 패닝은 상업용 영화 특수효과(VFX)나 정밀 시뮬레이션 현장에서 AI 비디오를 실무 도구로 채택하지 못하게 만드는 결정적 걸림돌이었습니다.

마이크로소프트의 Code Video Model은 비디오 생성의 주도권을 통계적 확률에서 결정론적 코드로 되찾아왔다는 점에서 중요한 기술적 이정표입니다. Three.js를 활용한 경량 시뮬레이터와 신경망 확산 모델의 결합은 비디오 AI가 단순한 예술적 유희를 넘어 산업용 가상 프로덕션, 로봇 자율주행 시뮬레이션, 게임 개발 파이프라인의 핵심 제어 엔진으로 편입될 수 있음을 증명하고 있습니다.

자주 묻는 질문

Q. Code Video Model은 어떤 원리로 물리 법칙을 유지하나요?
A. 신경망이 물리 법칙을 상상하게 두지 않고, Three.js 기반의 3D 물리 시뮬레이션 코드로 물체의 이동 궤적과 카메라 각도를 사전 정의한 프록시 비디오를 생성합니다. 확산 모델은 이 프록시 비디오의 기하학적 구조를 조건부 신호로 받아 텍스처와 조명만 합성하기 때문에 물리적 충돌이나 위치 오류가 발생하지 않습니다.

Q. Three.js 코드를 직접 다룰 줄 알아야만 사용할 수 있나요?
A. 기본적으로는 Three.js 스크립트로 장면을 구성해야 하지만, 리포지토리 내에 스포츠카, 탱크, 다락방 투어 등 사전 제작된 예제 번들이 포함되어 있습니다. 향후 GPT-4o나 Gemini 등 대규모 언어 모델과 연계하여 자연어 프롬프트를 Three.js 코드로 자동 변환하는 워크플로가 통합되면 진입 장벽이 대폭 낮아질 것으로 전망됩니다.

Q. 로컬 실행을 위한 최소 하드웨어 사양은 어떻게 되나요?
A. 공식 문서 기준 Ubuntu 22.04 환경과 CUDA 12.6 호환 엔비디아 드라이버가 필요합니다. 신경망 렌더링 단계에서 MiniMax-H3 체크포인트를 구동하기 위해 최소 24GB 이상의 VRAM을 갖춘 단일 GPU 환경이 권장됩니다.

원본

https://github.com/code-video-model/CodeVideoModel

https://prob.co.kr/physics-grounded-ai-video-generation/

https://bonega.ai/ko/blog/physics-simulation-ai-video-models-2026

함께 보면 좋은 글

댓글 0개