ElevenLabs, 영상에 음악·효과음을 자동으로 입히는 Instant Soundtracks API 공개

영상을 올리면 장면을 분석해 배경 음악을 작곡하고, 효과음까지 타이밍에 맞춰 배치해 줘요.

컨텐츠랩 편집부 · 읽는 시간 2분

핵심 3줄

ElevenLabs가 영상을 올리면 배경 음악과 효과음(SFX)을 자동 생성하는 Instant Soundtracks API를 공개했어요.
요청당 영상 최대 10개, 합산 200MB, 길이 최대 10분이며 음악·효과음 트랙을 분리해 받을 수 있어요.
장면 전환·로고 등장 같은 순간을 감지해 효과음을 타이밍에 맞춰 배치해요.

🧪 CONTENTSLAB 평지금 써 보세요★★★★★실전 활용도 4/5

개발자

Video to Music API를 영상 파이프라인에 넣으면 후반 작업(배경 음악 고르기·효과음 싱크)을 자동화할 수 있어요.

AI 크리에이터·마케터

숏폼 광고 영상이나 제품 데모에 음악·효과음을 한 번에 입히고, separate_tracks로 받아 편집 때 따로 조절할 수 있어요.

1인 사업자·기획자

영상에 어울리는 음악을 고르는 데 시간을 쓰던 분이라면, 영상만 올려서 바로 결과를 받아 볼 수 있어요.

$ 바로 해 보기

1. elevenlabs.io 에서 API 키 발급하기
2. 공식 API 문서(elevenlabs.io/docs)의 Video to Music 엔드포인트 안내 따르기
3. add_sfx=true, separate_tracks=true 로 음악·효과음 분리 수신 확인

CONTENTSLAB 생각 · 이렇게 써 볼 수 있을 것 같아요

숏폼 영상에 배경 음악과 효과음을 한 번에 입히고 싶을 때 유용할 것 같아요. separate_tracks로 음악과 효과음을 따로 받으면 편집할 때 훨씬 편해요.

ElevenLabs가 10월 15일 Instant Soundtracks를 공개했어요. 영상을 올리면 모델이 장면을 분석해 배경 음악을 자동으로 작곡하고, 효과음(SFX)이 필요한 지점을 찾아 타이밍에 맞춰 효과음까지 생성해 주는 Video to Music API예요.

작동 방식

영상을 업로드하면 모델이 장면을 분석해요. 먼저 영상의 분위기에 맞는 오리지널 배경 음악을 생성하고, 이어서 로고 등장이나 장면 전환처럼 효과음이 필요한 순간을 자동으로 감지해 타이밍에 맞춰 효과음을 배치해요. ElevenLabs 블로그는 “광고 끝에 로고가 나타나는 시점에 맞춰 우쉬(whoosh) 효과음을 넣는 것” 같은 예를 들었어요.

API 세부 사항

요청당 최대 10개 영상, 합산 크기 200MB 이하
영상 길이는 요청당 최대 10분
주요 파라미터: add_sfx(효과음 추가 여부), separate_tracks(음악·효과음 분리 출력), use_audio_as_reference(기존 오디오 스타일 참조)
separate_tracks=true로 설정하면 음악 트랙과 효과음 트랙을 ZIP 파일로 따로 받을 수 있어요

이용 가능한 곳

ElevenCreative Music Video Editor, Creative Engine(광고 제작), ElevenMusic, ElevenCreative Studio API에서 쓸 수 있어요.

X 게시물 보기 · https://x.com/elevenlabsdevs/status/2110808537588732302

원문 화면 · ElevenLabs 공식 블로그 — Introducing Instant Soundtracks

출처 (원문)