Google DeepMind, 걸어 다니며 말로 바꾸는 3D 세계 'Genie 4' 공개 — 소리 · 대화까지 실시간으로 만들어요
Google DeepMind가 10월 27일 새 월드 모델(세계를 흉내 내 만드는 AI) Genie 4를 공개했어요. 키보드로 돌아다니는 동안 글로 날씨 · 카메라 · 사람을 바꿀 수 있고, 배경 소리와 대사도 함께 만들어요. 지금은 신뢰 테스터에게만 열린 연구 미리보기예요.
- Genie 4는 사진처럼 실감 나는 세계를 실시간으로 만드는 월드 모델이에요. 키보드로 이동 · 카메라를 움직이고, 글(프롬프트)로 날씨 바꾸기 · 카메라 옮기기 · 새 사람이나 물건 넣기를 할 수 있어요.
- DeepMind의 첫 '소리를 직접 만드는' 실시간 월드 모델이에요. 바람 · 파도 같은 배경 소리뿐 아니라, 등장인물이 내 입력에 반응해 실시간으로 말하는 대화도 만들어요. 뒤에서는 Gemini 3.8 Flash가 장면을 보며 목표를 단계로 나누고 확인해요.
- 지금은 신뢰 테스터용 연구 미리보기예요. 다음은 Project Genie의 Google AI Ultra 구독자와 Gemini API · Google AI Studio 조기 이용 파트너 순서이고, 대기 명단을 받고 있어요. 긴 세션에선 물체가 바뀌거나 글자를 제대로 못 그리는 한계도 적혀 있어요.
영상 찍기 전 사전 시각화용으로 기대돼요. 장면 안에 들어가 카메라 각도 · 조명 · 대사를 바꿔 가며 여러 테이크를 미리 돌려 보는 쓰임을 DeepMind가 직접 예로 들었어요.
게임 · 인터랙티브 기획에서 엔진 코드를 쓰기 전에 화풍 · 조작 방식을 글로 시험하는 시제품 도구가 될 수 있어요. Gemini API 조기 이용 파트너가 먼저 받을 예정이에요.
아직은 써 볼 수 없어요. Google AI Ultra를 이미 쓰고 있다면 Project Genie 대기 명단에 먼저 이름을 올려 두는 정도가 지금 할 일이에요.
1) DeepMind 블로그의 예시 영상과 프롬프트를 읽어 보기(환경 프롬프트 · 인물 프롬프트를 나눠 씀) 2) Project Genie에서 Genie 4 대기 명단 신청 3) 열리면 짧은 세션부터 — 오래 돌리면 물체가 바뀔 수 있다고 적혀 있어요
영상 콘티를 짤 때 장면 안을 먼저 걸어 보며 카메라 동선을 정하는 데 써 보면 좋을 것 같아요. 다만 지금은 대기 명단 단계라 블로그 프롬프트 예시를 먼저 참고하는 정도예요.
Google DeepMind가 10월 27일(미국 기준) 블로그에서 Genie 4를 공개했어요. 월드 모델(world model · 세계가 어떻게 생기고 움직이는지 흉내 내 화면으로 만드는 AI)의 새 판이에요. 지난해 8월 공개된 Genie 3의 다음 판이에요.
DeepMind는 Genie 4가 실감(사실감)을 크게 끌어올리고 실시간 상호작용 시뮬레이션을 개선했다고 소개했어요. 처음부터 여러 형태를 함께 다루는(natively multimodal) 모델이라, 음악 · 배경 소리 · 대화를 세계와 동시에 만들어요.
Gemini와 함께 움직여요
Genie 4는 Gemini 모델들의 능력을 바탕으로 만들었어요. Gemini Omni가 실제 세계처럼 보이고 움직이게 잡아 주고, 다른 Gemini 모델들이 장면이 앞뒤가 맞게 이어지도록 추론을 맡아요. 어떤 사건을 일으키면 그다음에 세계가 어떻게 반응하고, 어떤 소리가 나고, 사람들이 어떻게 움직이고 말하는지를 Genie 4가 이어서 만들어요.
네 가지가 나아졌어요
- 실시간으로 세계 바꾸기: 공개된 영상은 실시간 조작을 녹화한 것으로, 표준 키보드로 이동 · 카메라를 조작하고 글 프롬프트로 장면을 이끌어요. 날씨 바꾸기 · 카메라 옮기기 · 새 사람이나 물건 넣기를 말로 하면, Gemini가 주변 장면에 맞게 프롬프트를 고쳐 넣어요. 입력이 없는 사이에도 Gemini가 장면을 지켜보며 세계가 자연스럽게 이어지도록 잡아요.
- 물리 · 사람 움직임: 공기 흐름(aerodynamics) · 충돌 같은 물리 상황을 흉내 내요. DeepMind는 가장 크게 나아진 점으로 사람 표현을 꼽았어요 — 자연스럽게 움직이고, 주변에 반응하고, 실시간으로 조종할 수 있는 인물이에요.
- 소리: DeepMind의 첫 '소리를 직접 만드는' 실시간 월드 모델이에요. 숲의 바람부터 해변의 파도까지 장면마다 배경 소리가 붙어요. 등장인물이 내 입력이나 세계의 사건에 반응해 실시간으로 대화하는 기능도 처음 넣었어요. 블로그의 예시 영상 소리도 모두 Genie 4가 직접 만든 것이라고 적었어요.
- 복잡한 사건 시뮬레이션: Gemini 3.8 Flash가 안내 에이전트로 붙어서, Genie 4가 세계를 만드는 동안 장면을 계속 보고 목표를 단계로 나눈 뒤, 들어오는 화면을 보며 각 단계가 끝났는지 확인해요. 로봇 연구 쪽에서는 Gemini 4 Argon이 과제를 단계로 나눠 Genie 4에 글 자막으로 넣는 실험도 했어요 — Apptronik의 Apollo 휴머노이드 로봇이 체커 게임을 두는 장면이에요.
테스터들은 이렇게 써 봤어요
- 창작 연출: 사전 시각화(pre-visualization) · 아이디어 단계의 빠른 「초안 모드」로 시험 중이에요. 예를 들어 영화 제작자가 장면 시뮬레이션 안에 들어가 카메라 각도 · 조명 · 대사 · 동작을 바꿔 가며 여러 「테이크」를 실시간으로 돌려 볼 수 있다고 해요.
- 역사 장면 · 사진: 사진기자들이 옛 2D 기록 사진 한 장을 몇 초 만에 그 장소의 시뮬레이션으로 바꿔 보는 시험을 하고 있어요.
- 인터랙티브 기획: 게임 개발자들이 엔진 코드를 쓰기 전에 아이디어를 몇 초 만에 돌아다닐 수 있는 시제품으로 만들어, 화풍 · 재질 · 조작 방식을 글 프롬프트로 시험해요.
- 시뮬레이션: 여러 업계의 기업 파트너가 시나리오를 빠르게 만드는 도구로 평가하고 있어요.
언제 써 볼 수 있나요
지금은 신뢰 테스터(trusted testers)에게만 연 연구 미리보기예요. DeepMind는 의견을 모은 뒤 일반 사용자 · 개발자에게 넓힐 계획이고, 그 시작은 Project Genie의 Google AI Ultra 구독자와 Gemini API · Google AI Studio의 조기 이용 파트너예요. Project Genie에서 Genie 4 대기 명단(waitlist)을 받고 있어요.
Genie 4로 만든 영상과 소리에는 모두 눈에 안 보이는 디지털 워터마크 SynthID가 들어가요.
아직 남은 한계
DeepMind는 Genie 4를 아직 초기 · 실험 모델이라고 적었어요. 짧은 세션에서는 세계가 일관되게 유지되지만, 오래 돌리거나 복잡한 프롬프트 수정을 여러 번 하거나 장면 안을 많이 돌아다니면 세부 모습 · 물체가 바뀌거나 흔들릴 수 있어요. 복잡한 물리 상호작용 · 실시간 소리 정확도 · 읽을 수 있는 글자 그리기 · 공간 정확도 · 긴 일관성은 아직 연구 중이라고 해요.
