말로 이어 가는 영상 속 세계 — 텐센트 'Hy-Nomas' 오픈소스 공개, RTX 4090 한 장 설정도
텐센트가 글 지시와 카메라 경로로 영상 속 세계를 한 구간씩 이어 만드는 모델 Hy-Nomas를 Apache 2.0으로 풀었어요. 720×1280 · 24fps로 만들고, 메모리를 줄인 설정이면 RTX 4090 한 장에서도 영상을 뽑을 수 있어요.
- Hy-Nomas는 '대화하듯 이어 가는' 영상 월드 모델이에요. 첫 장면을 만든 뒤 글로 물건 · 스타일 · 장면 · 행동을 바꾸라고 하거나 카메라 경로를 주면, 앞 내용을 기억(KV 캐시)한 채 다음 구간을 이어 만들어요.
- 모델 카드 기준: 줄인(distilled) 판은 8단계로 720×1280 · 24fps 영상을 만들어요. 따로 준비된 설정(INT8 가중치 · INT8 KV 캐시 · FP8 디코더 · CPU로 잠시 옮기기)이면 RTX 4090 한 장에서도 영상 생성이 돼요. 학습 · 추론 · 데모 코드와 가중치가 Apache 2.0이에요.
- 다만 'RTX 4090 한 장'은 영상 생성만의 이야기예요. 웹 데모에 필요한 프롬프트 보조 모델(Nomas-PE)은 따로 돌려야 하고, CPU로 옮기는 만큼 시스템 메모리가 넉넉해야 해요. 기술 보고서는 아직 '곧 공개'예요.
README에 Docker 이미지 · 4090용 설정 파일(single_gpu_low_mem_inference.yaml) · LoRA 학습 방법까지 다 있어요. 리눅스 + CUDA 13.0 환경이 있으면 내 GPU에서 월드 모델을 직접 돌려 보는 출발점으로 좋아요.
공식 온라인 데모에서 장면을 시작하고 글 지시로 이어 가며 영상을 내려받아 볼 수 있어요. 한 장면을 여러 갈래로 바꿔 보는 콘셉트 시안에 써 볼 만해요.
게임 · 체험형 콘텐츠를 기획할 때 '말로 움직이는 세계'가 어느 정도인지 데모로 먼저 확인해 볼 수 있어요. 직접 돌리려면 개발 인력과 GPU가 필요해요.
1) 공식 데모(hy-nomas.hy.tencent.com)에서 세계를 시작하고 글 지시 · 카메라 경로로 이어 가 본다 2) 직접 돌리려면 리눅스 + NVIDIA 드라이버 + Docker를 준비하고 docker pull "hynomasoss/hynomasoss:cu130" 3) hf download tencent/Hy-Nomas --local-dir "${Hy_Nomas_Model_Path}"로 가중치를 받는다 4) RTX 4090 한 장이면 README의 configs/experiment/single_gpu_low_mem_inference.yaml 실행 줄을 그대로 쓴다 · 라이선스: Apache 2.0 · 비용: 무료(내 GPU · 전기)
한 장면에서 날씨 · 카메라 · 스타일을 바꿔 가며 여러 갈래 영상 시안을 뽑아 볼 때 써 보면 좋을 것 같아요.
텐센트가 영상 월드 모델 Hy-Nomas를 오픈소스로 풀었어요. GitHub(Tencent-Hunyuan/Hy-Nomas)와 Hugging Face(tencent/Hy-Nomas)에 학습 · 추론 · 웹 데모 · 데이터 정리 코드와 모델 가중치가 올라왔고, 라이선스는 Apache 2.0이에요. 월드 모델은 한 번에 정해진 영상을 뽑는 대신, 사용자가 조작하는 대로 세계가 계속 이어지는 모델을 말해요.
어떻게 움직이나
Hy-Nomas는 세계를 영상 한 구간씩 이어 만들어요. 첫 구간이 처음 세계를 그리고, 다음 구간마다 이런 걸 바꿀 수 있어요.
- 자유로운 글 지시: 새 물건 넣기 · 스타일 · 장면 바꾸기 · 행동 설명
- 카메라 조종: 글과 함께 카메라 경로를 줘서 시점 · 움직임 정하기
- 이어 만들기: 앞 구간 내용을 KV 캐시(앞에서 계산한 기억)로 들고 가 같은 세계를 유지
속은 구간 단위 확산 트랜스포머(DiT) · Qwen 글 인코더 · 카메라 조건 모듈 · PixelUMM 영상 디코더로 돼 있어요. 웹 데모에선 Nomas-PE라는 보조 모델이 사용자 지시를 생성용 프롬프트로 다듬어 줘요.
숫자로 보면
모델 카드에 따르면 줄인(distilled) 판은 잡음 제거 8단계로 720×1280 · 24fps 영상을 만들어요. 24fps는 재생 프레임 수이고, 실제 생성 속도는 하드웨어 · 해상도 · 구간 길이에 따라 다르다고 적혀 있어요.
RTX 4090 한 장용 설정은 메모리를 이렇게 줄여요.
- DiT 가중치와 KV 캐시를 INT8로 저장(계산은 BF16)
- 앞 내용을 일정 길이만 기억(슬라이딩 윈도)
- 글 인코더 · DiT · VAE를 쓸 때만 GPU로 올리고 끝나면 CPU로 내림
- 디코더는 FP8
README는 CPU로 옮기는 만큼 시스템 메모리가 넉넉해야 하고, 최대 GPU 메모리는 해상도와 구간 길이에 따라 달라진다고 적었어요. 모델 카드엔 'RTX 4090 한 장'이 영상 생성(추론)에 대한 말이고, 웹 데모에 꼭 필요한 Nomas-PE는 따로 자원을 쓴다고 나와 있어요.
무엇이 들어 있나
- 바탕 DiT(FP32) · 줄인 DiT(FP32) · INT8로 줄인 DiT
- LoRA(덧붙이는 작은 학습 파일) 두 개: 영화 같은 화질용 Cinematic, 로봇 팔 영상으로 학습한 Robotics
- 영상 압축기 DCAE-V · PixelUMM 디코더(FP8 판 포함) · 프롬프트 보조 Nomas-PE
- 내 영상으로 LoRA를 학습하는 방법과 영상 설명 달기 도구
써 보려면
가장 쉬운 건 공식 온라인 데모예요. 세계를 시작하고 글 지시나 카메라 경로로 이어 간 뒤 영상을 내려받을 수 있어요. 직접 돌리려면 리눅스와 NVIDIA GPU가 필요하고, README는 미리 꾸린 Docker 이미지를 강하게 권해요. 직접 설치하면 Python 3.12 이상 · CUDA 13.0 Toolkit이 필요해요. 기술 보고서는 아직 '곧 공개(Coming Soon)'로 돼 있어요.
