Nvidia Cosmos 3 — 물리 AI를 위한 월드 모델

출처: Hacker News | 반응: 144 points, 27 comments 저장일: 2026-06-02

---

한 줄 요약

Nvidia가 로봇/자율주행 AI 훈련용 합성 데이터 생성을 위해 Cosmos 3 월드 모델을 공개. 64B 파라미터 + 16B Nano 버전 제공, Reasoner-Generator 두 개의 타워(MoT) 아키텍처로 물리 법칙을 준수하는 미래 프레임 예측 + 액션 시퀀스 생성을 동시에 수행.

---

핵심 내용

① 제품 개요

• Cosmos 3: 64B 파라미터 월드 모델
• Cosmos 3 Nano: 16B 파라미터 컴팩트 버전 (RTX PRO 6000 GPU 대상)
• 목표: 로봇/자율주행/드론 등 물리 AI(Physical AI) 훈련용 합성 데이터 생성
• 아키텍처: Mixture-of-Transformers (MoT) — 두 개의 타워
• Reasoner 타워: Vision-Language Model (VLM). 세계를 "이해"한 후 생성 시작
• Generator 타워: Diffusion 기반. 물리-인지 비디오 + 액션 출력 생성

② 핵심 기능

• 입력: 이미지/비디오/텍스트/액션
• 출력: 이미지/비디오/텍스트/액션
• 액션 조건부 생성: 주어진 액션 → 미래 프레임 예측. 역으로 목표 → 필요 액션 추론
• 실시간 로봇 추론: Nano 버전으로 RTX PRO 6000에서 실시간 추론 가능

③ 실제 사용 사례

• 창고 안전 모니터링 시뮬레이션
• 자율주행 교차로 시나리오 생성
• 로봇 조작 작업 훈련 데이터 생성

---

커뮤니티 반응 (HN 댓글 정리)

🔴 우려/비판

• 데모 품질: "사람이 반응하지 않음", "적색 신호 위반", "그림자 논리 불일치" 등 데모 영상의 물리/논리 오류 지적
• Edge case 부족: "이미 존재하는 in-domain 데이터만 생성. Tesla가 수집하는 edge case가 필요"
• 하드웨어 장벽: "$10,000+ 워크스테이션 GPU 필요. 로봇은 $30,000-$50,000"
• Bitter Lesson 논란: "두 개의 타워를 조합하는 것은 Bitter Lesson(단순한 데이터+컴퓨팅 접근이 최적)에 반하는가?"

🟢 기대/호평

• 물리 AI의 게임 체인저: "Unity/Unreal보다 나은 물리 + FEM 시뮬레이션보다 빠른 하이퍼리얼리스틱 게임 엔진"
• 액션 조건부 생성: "비디오 생성만 아닌, 액션 → 미래 프레임 예측 + 목표 → 필요 액션 추론이 핵심 차별점"
• 실제 산업 적용: "Nvidia 내부에서 유사 기술을 자율주행 리더들이 대량으로 사용 중" (Nvidia 직원 댓글)
• 오픈소스: "SOTA 오픈소스 모델. 64B는 크지만 Nano 16B는 접근성 있음"

🟡 중립/관찰

• "Decompression" 관점: "Reasoner → Generator는 단순한 decompression. 이미 표준화된 패턴"
• Bitter Lesson 재해석: "MoT 아키텍처는 오히려 Bitter Lesson의 이상에 가까움. 모든 모달리티를 단일 잠재 공간에 투입"
• 스타트업 용도: "대기업은 이미 데이터 보유. 하지만 데이터 없는 스타트업에게는 유용"

---

새로운 시각

1. "비디오 생성"이 아닌 "액션-관찰 루프"

Cosmos 3의 핵심은 비디오 생성이 아니라 액션 → 관찰 → 액션의 폐루프 시뮬레이션. 기존 비디오 생성 모델은 "미래 프레임 예측"만 하지만, Cosmos 3은 "어떤 액션을 취하면 어떤 결과가 나오는가"를 학습. 이는 강화학습의 시뮬레이션 환경 역할.

2. 합성 데이터의 "양 vs 질" 딜레마

Nvidia는 합성 데이터로 대량 훈련 데이터를 생성하지만, 커뮤니티는 edge case의 부재를 지적. 자율주행에서 중요한 것은 "보통 상황"이 아닌 "드물지만 치명적인 상황". 합성 데이터가 edge case를 얼마나 잘 커버하는지가 실제 유용성의 핵심.

3. "물리 AI"라는 새로운 카테고리

"Physical AI"는 로봇/자율주행/드론 등 물리적 세계와 상호작용하는 AI를 지칭. Nvidia가 이 용어를 공식화하며 "AI = 소프트웨어"에서 "AI = 물리적 행동"으로의 확장을 시도. 이는 의료 AI(수술 로봇, 내시경 조작 AI)와도 직접적 연결 가능.

4. Bitter Lesson의 재해석

Rich Sutton의 "Bitter Lesson"(1997)은 "인간 지식을 인코딩하는 것보다 데이터+컴퓨팅을 활용하는 것이 장기적으로 더 낫다"는 주장. Cosmos 3의 두 타워 아키텍처는 "구조화된 지식(Reasoner) + 데이터 기반 생성(Generator)"의 하이브리드. 이는 Bitter Lesson을 완전히 거부하는 것이 아니라, 구조와 데이터의 균형을 찾는 시도.

---

하드웨어 실행 가능성 (듀얼 RTX 3090 기준)

Nano 16B 실행 방법 (추정):

• Tensor Parallelism으로 2개 GPU에 분할 실행 가능
• 4bit/8bit 양자화 시 단일 3090 (24GB)로도 가능할 가능성 있음
• 하지만 Nvidia 공식 지원은 RTX PRO 6000 (48GB 단일 GPU) 기준이라, 듀얼 GPU 설정의 안정성은 확인 필요
• 비디오 생성 + 액션 추론의 실시간 추론은 16B로도 부담스러움
• 오프라인 배치 처리(합성 데이터 일괄 생성)라면 가능할 수준

실제 문제점:

• Cosmos 3은 Nvidia 생태계 전용 (Triton, TensorRT 등). 오픈소스라 해도 Nvidia 도구 체인에 의존
• 오프라인 배치 처리(합성 데이터 일괄 생성)라면 가능할 수준

---

대장내시경 시뮬레이션 적용 가능성

결론: 직접 사용 불가. 구조적으로 맞지 않음.

Cosmos 3의 물리 모델 범위

• 강체 역학 중심 (로봇 암, 자율주행 차량, 드론 등)
• 비뚤어진 물체, 충돌, 중력, 마찰 등 표준 물리 엔진 수준의 시뮬레이션
• 학습 데이터: 로봇 조작 영상, 자율주행 영상, 산업용 카메라 영상

대장내시경 시뮬레이션이 필요한 물리

핵심 불일치

Cosmos 3의 "물리"는 강체 역학 + 시각적 일관성 수준. 대장내시경 시뮬레이션이 필요한 것은 연체 조직 역학(Soft Tissue Mechanics) + 유체-구조 연성(Fluid-Structure Interaction)으로, 완전히 다른 물리 도메임.

대장내시경 시뮬레이션에 필요한 도구

Cosmos 3이 간접적으로 도움이 될 수 있는 부분

• 합성 훈련 데이터 생성: 시뮬레이션 환경에서 생성한 영상 데이터를 Cosmos 3으로 보정/증강
• 액션-관찰 루프 학습: 시뮬레이션 환경에서 강화학습 에이전트 훈련 시, Cosmos 3의 아키텍처 아이디어 참조

---

자녀/미래 영향

로봇 AI의 훈련 인프라

Cosmos 3는 로봇 훈련의 시뮬레이션 환경 역할. 아이들이 성장하면 "로봇 = 하드웨어"가 아닌 "로봇 = 시뮬레이션에서 훈련된 AI + 하드웨어"가 됨. 로봇 공학 교육에서 시뮬레이션/합성 데이터 개념이 기본이 될 것.

의료 로봇과의 연결

수술 로봇, 내시경 조작 AI, 재활 로봇 등 의료 로봇도 합성 데이터로 훈련 가능. Cosmos 3의 "액션 → 관찰" 루프는 "수술 도구의 움직임 → 조직 반응" 시뮬레이션과 구조적으로 동일.

"AI = 물리적 행동"의 시대

AI가 "텍스트/이미지 생성"을 넘어 물리적 세계와 상호작용하는 단계로 진입. 아이들이 AI를 공부할 때 "프롬프트 엔지니어링"보다 "물리 시뮬레이션 + 강화학습"이 더 중요해질 것.

관련 노트

• ConvNeXt
• 사고 패치