AI 쇼트폼 드라마 더빙이 어색하게 들리는 이유는 발음이 나빠서만은 아닙니다. 목소리는 깨끗한데 감정이 평평하고, 대사가 캐릭터의 말이 아니라 낭독처럼 들리는 경우가 많습니다. 화남, 망설임, 긴장, 애교, 무너짐, 울음을 참는 상태가 목소리에 들어가지 않으면 장면의 분위기가 바로 깨집니다.
그래서 목표는 단순히 음성을 하나 생성하는 것이 아닙니다. 그 음성이 캐릭터, 감정, 장면에 맞아야 합니다. "왜 이제야 돌아왔어?"라는 한 줄도 추궁일 수 있고, 상처일 수 있고, 울지 않으려는 말일 수 있습니다. 모델이 이 차이를 읽으려면 대사만이 아니라 연기할 수 있는 맥락이 필요합니다.
이 글의 핵심 질문은 하나입니다. AI 드라마 더빙에서 Seed Audio 1.0과 ElevenLabs를 어떻게 나눠 써야 할까? 아래에서는 같은 중국어 쇼트폼 드라마용 청취 예시를 바탕으로 두 모델의 역할, 프롬프트 작성법, 음성을 재사용 가능한 제작 에셋으로 남기는 방법을 정리합니다.
AI 캐릭터 음성을 더 자연스럽게 만드는 법
처음부터 대사 한 줄만 넣지 마세요. 생성 전에 최소한 세 가지를 정해야 합니다.
- 누가 말하는가
- 어떤 감정과 장면 안에서 말하는가
- 듣는 사람에게 어떤 목소리로 들려야 하는가
예를 들어 이렇게만 쓰는 대신,
왜 이제야 돌아왔어?
이렇게 씁니다.
젊은 여성 캐릭터. 목소리를 낮추고, 상처받았지만 화를 참고 있다.
감정이 터지지 않게 억누르는 상태로 말한다.
대사: 왜 이제야 돌아왔어?
프롬프트가 꼭 길 필요는 없습니다. 하지만 "슬프게"만 쓰면 평균적인 슬픔이 나올 가능성이 높습니다. 누구에게 하는 말인지, 감정을 얼마나 숨기는지, 어느 순간 목소리가 흔들리는지까지 적으면 캐릭터의 말에 가까워집니다.
먼저 모델의 역할을 나누기
Seed Audio 1.0은 한 줄의 깨끗한 음성보다, 장면을 연기하는 음성에 더 잘 맞습니다. 캐릭터 상태, 장면, 목소리 질감, 속도, 감정의 흐름을 함께 주면 대립, 울음, 무너짐, 방언, 분위기가 있는 내레이션을 만들기 좋습니다.
ElevenLabs는 목소리 방향이 정해진 뒤, 안정적이고 반복해서 쓸 수 있는 캐릭터 음성을 만드는 데 강합니다. 시리즈형 드라마에서는 같은 인물이 매회 다른 목소리로 들리면 안 됩니다. ElevenLabs는 고정 음색, 다국어 버전, 캐릭터별 음성 유지, [whispers], [crying], [angry] 같은 태그 기반 세부 조정에 적합합니다.
여기서는 순위를 매기지 않습니다. 제작상 역할을 나눕니다. 모델에게 장면 전체를 이해시킬 것인가, 아니면 이미 정한 캐릭터 음성을 한 줄씩 다듬을 것인가가 선택 기준입니다.
어떤 모델을 써야 할까
싸움, 고백, 무너지는 장면, 억누르는 이별처럼 감정 비중이 큰 장면은 Seed Audio 1.0부터 시도하면 방향을 잡기 쉽습니다. 반대로 고정 캐릭터, 여러 에피소드, 장기 연재라면 ElevenLabs를 음색 안정 레이어로 보는 편이 좋습니다.
| Seed Audio 1.0 | ElevenLabs | |
|---|---|---|
| 잘 맞는 작업 | 캐릭터, 감정, 환경, 리듬이 함께 움직이는 장면 음성 | 고정 캐릭터 음색, 한 줄 단위 조정, 다국어 더빙, 장기 재사용 |
| 자주 쓰는 장면 | 대립, 울음, 무너짐, 방언, 내레이션 + 분위기 효과음 | 연재 드라마, 애니메이션 캐릭터, AI influencer, OC, 다중 화자 대화 |
| 입력 방식 | 캐릭터 설정, 장면, 음색 톤, 실제 읽을 텍스트를 나눠 작성 | 먼저 음색을 고르고 [whispers], [crying] 같은 태그를 대사에 삽입 |
| 성공 조건 | 감정 단어만 쓰지 말고 관계, 동기, 감정 변화를 쓴다 | 태그를 과하게 쌓지 않고 실제로 변화가 필요한 부분에만 쓴다 |
| 워크플로우 위치 | 대본 분석 후, 들을 수 있는 장면 음성 초안을 만든다 | 목소리 방향이 정해진 뒤, 핵심 대사나 다국어 버전을 다듬는다 |
실제 제작에서는 둘 중 하나만 고를 필요가 없습니다. 캐릭터 카드와 장면 설명으로 먼저 연기 버전을 만들고, 가장 중요한 몇 줄만 태그와 음색 설정으로 다시 다듬을 수 있습니다.
바로 써볼 수 있는 8가지 더빙 장면
玩法 1 · 대립 장면: 무너짐과 억눌림을 연기하기
대립 장면은 "슬프게"만 쓰면 쉽게 평범해집니다. 어떻게 참고 있는지, 어느 단어에서 무너지는지, 마지막에 어떻게 다시 억누르는지를 적어야 합니다.
# Seed Audio 1.0
引用上文：[#这枚戒指，是姐姐的，对不对？]
语音指令：[#用颤抖沙哑、将哭未哭、强忍着崩溃的语气，语速偏慢]
合成文本：我找了她三年。你却把她的戒指，戴在了别人手上。
::audio{src="https://tos.arcloop.cn/handbook/audio/seed-audio-elevenlabs-ai-drama-dubbing/seed-audio-play-1-confrontation.mp3" title="玩法 1 · Seed Audio 대립 장면 듣기" caption="위 Seed Audio 지시로 생성한 예시입니다. 캐릭터가 무너질 듯한 감정을 어떻게 눌러 말하는지 들어보세요." mediaId="seed-audio-play-1-confrontation"}
# ElevenLabs
[whispers] I searched for her for three years…
[crying] and you put HER ring… on someone else's hand.
::audio{src="https://tos.arcloop.cn/handbook/audio/seed-audio-elevenlabs-ai-drama-dubbing/elevenlabs-play-1-confrontation.mp3" title="玩法 1 · ElevenLabs 대립 장면 듣기" caption="위 ElevenLabs 태그 예시로 생성한 음성입니다. 속삭임, 울먹임, 강조어가 대립 장면을 어떻게 밀어 올리는지 확인할 수 있습니다." mediaId="elevenlabs-play-1-confrontation"}
玩法 2 · 애교, 가까운 거리, ASMR 속삭임
가까운 음성은 단순히 소리를 작게 만든다고 나오지 않습니다. 숨, 거리, 멈춤, 끝음 처리가 함께 들어가야 합니다.
# Seed Audio 1.0
语音指令：[#用 asmr 耳语般的语气，轻轻地、带点撒娇地说]
合成文本：别走嘛……再陪我待五分钟，就五分钟，好不好？
::audio{src="https://tos.arcloop.cn/handbook/audio/seed-audio-elevenlabs-ai-drama-dubbing/seed-audio-play-2-asmr-whisper.mp3" title="玩法 2 · Seed Audio 속삭임 듣기" caption="Seed Audio 속삭임 지시로 생성한 예시입니다. 가까운 숨소리, 가벼운 멈춤, 애교 섞인 끝음을 들어보세요." mediaId="seed-audio-play-2-asmr-whisper"}
# ElevenLabs
[whispers] Don't go yet… [playful] just five more minutes, okay?
::audio{src="https://tos.arcloop.cn/handbook/audio/seed-audio-elevenlabs-ai-drama-dubbing/elevenlabs-play-2-asmr-whisper.mp3" title="玩法 2 · ElevenLabs 속삭임 듣기" caption="ElevenLabs whisper와 playful 태그로 생성한 음성입니다. 가까운 거리감과 부드러운 끝음이 핵심입니다." mediaId="elevenlabs-play-2-asmr-whisper"}
玩法 3 · 방언 뉘앙스
중국어 쇼트폼 드라마에서 방언은 장식이 아니라 캐릭터 관계와 지역성을 드러내는 요소입니다. 여기서는 쓰촨어의 놀리는 느낌과 자신감을 함께 지정했습니다.
# Seed Audio 1.0
语音指令：[#用地道的四川话，语气调侃、带点得意]
合成文本：你娃儿还想骗我？我啥子场面没得见过哦。
::audio{src="https://tos.arcloop.cn/handbook/audio/seed-audio-elevenlabs-ai-drama-dubbing/seed-audio-play-3-sichuan-dialect.mp3" title="玩法 3 · Seed Audio 쓰촨어 듣기" caption="Seed Audio 방언 지시로 생성한 예시입니다. 쓰촨어의 장난스러운 느낌, 자신감, 관계감을 들어볼 수 있습니다." mediaId="seed-audio-play-3-sichuan-dialect"}
玩法 4 · 여러 역할: 짧은 대화를 한 번에 만들기
대화를 한 줄씩 따로 만들면 서로의 말을 받지 않는 것처럼 들릴 수 있습니다. 화자의 압력 차이를 한 번에 적으면 장면이 더 잘 이어집니다.
# ElevenLabs
Speaker 1: [coldly] You shouldn't have come back.
Speaker 2: [shaky] I had to. [whispers] I saw the ring.
Speaker 1: [angry] Then you saw NOTHING. Get out.
::audio{src="https://tos.arcloop.cn/handbook/audio/seed-audio-elevenlabs-ai-drama-dubbing/elevenlabs-play-4-multi-speaker-dialogue.mp3" title="玩法 4 · ElevenLabs 다중 화자 대화 듣기" caption="다중 화자 형식으로 생성한 예시입니다. coldly, shaky, angry 태그가 같은 대화 안에서 압력을 나누는 방식이 포인트입니다." mediaId="elevenlabs-play-4-multi-speaker-dialogue"}
玩法 5 · 분위기 전체 만들기: 내레이션, 환경음, 효과음
Seed Audio 1.0이 일반 TTS와 가장 다르게 느껴지는 지점입니다. 목소리 하나가 아니라 병원 복도, 발소리, 물방울, 서스펜스를 포함한 장면 음성 초안을 만들 수 있습니다.
# Seed Audio 1.0
语音指令：[#深夜医院走廊，旁白语调惊恐压抑；背景加入细微脚步声和滴水声，气氛悬疑]
合成文本：可当他的手触碰到对方的身体时，却感觉一阵冰冷，那触感……不像是活人。
::audio{src="https://tos.arcloop.cn/handbook/audio/seed-audio-elevenlabs-ai-drama-dubbing/seed-audio-play-5-atmosphere.mp3" title="玩法 5 · Seed Audio 분위기 장면 듣기" caption="Seed Audio 장면 지시로 생성한 예시입니다. 내레이션, 환경음, 감정이 하나의 서스펜스에 맞춰지는지 들어보세요." mediaId="seed-audio-play-5-atmosphere"}
# ElevenLabs
[ominous] The hallway was empty… [footsteps] something was following her.
[gasp] [gunshot] — Run!
::audio{src="https://tos.arcloop.cn/handbook/audio/seed-audio-elevenlabs-ai-drama-dubbing/elevenlabs-play-5-atmosphere-sfx.mp3" title="玩法 5 · ElevenLabs 분위기 효과음 듣기" caption="대사 안의 효과음 태그로 생성한 예시입니다. ominous, footsteps, gasp, gunshot 태그가 장면감을 만듭니다." mediaId="elevenlabs-play-5-atmosphere-sfx"}
玩法 6 · 앞 대사를 받아서 말하기
대사를 완전히 분리해 생성하면 캐릭터가 서로의 말을 듣지 않는 것처럼 들릴 수 있습니다. 이전 대사와 관계 상태를 함께 넣으면 다음 말의 온도가 달라집니다.
# Seed Audio 1.0
引用上文：[#是…是你吗？怎么看着，好像没怎么变啊？]
语音指令：[#用久别重逢、又惊又暖、微微哽咽的语气]
合成文本：你头发长了……以前总说留不长。十年了，你还好吗？
::audio{src="https://tos.arcloop.cn/handbook/audio/seed-audio-elevenlabs-ai-drama-dubbing/seed-audio-play-6-context-continuation.mp3" title="玩法 6 · Seed Audio 문맥 이어 말하기 듣기" caption="앞 대사를 인용해 생성한 예시입니다. 오랜만에 만난 놀라움, 따뜻함, 살짝 목이 메는 느낌이 이어집니다." mediaId="seed-audio-play-6-context-continuation"}
玩法 7 · 음성 복제: 같은 역할을 같은 목소리로 유지하기
드라마 음성은 한 번의 데모로 끝나지 않습니다. 주인공이 여러 에피소드에 등장한다면 시청자는 같은 인물의 목소리라고 느껴야 합니다. 음성 복제, 참고 음성, 설정값, 캐릭터 카드를 제작 에셋으로 관리하세요. 본인이 소유했거나 허가받았거나 플랫폼이 제공한 목소리만 사용해야 합니다.
玩法 8 · 캐릭터 카드: 연기를 지시하는 가장 강한 방식
앞의 기술을 하나의 제작 규칙으로 묶는 것이 캐릭터 카드입니다. 캐릭터가 누구인지, 어디에 있는지, 어떤 목소리로 말해야 하는지, 왜 그 말을 하는지를 모델이 읽을 수 있게 정리합니다.
아래 청취 예시는 중국어 캐릭터 카드에서 생성되었습니다. 음성과 일치하도록 카드 본문은 중국어로 유지합니다.
【角色设定】
沈砚——表面清冷自持的世家公子，惯把脆弱藏在礼数与锋利言辞之下，从不在人前低头。
久病缠身，今夜是他自知撑不久的一晚。正因为他一向骄傲、克制，此刻的卸防与示弱才格外
动人：他不是天生温柔，是为了你，才肯软下来。
【场景】
深夜，烛火将尽的卧房，窗外初雪。他半靠床头，把伏在膝边啜泣的你轻轻拉进怀里。
声音很轻——说话已经耗力，越想温柔，气息越散。
【音色】
成年男性，低沉沙哑、气声偏多的磁性嗓音，近场耳语距离。语速缓慢、停顿长、呼吸清晰可闻。
基调：疲惫、隐忍、不舍，间或一丝他惯有的、被你看穿的轻佻笑意；尾音发颤，是极力克制
不让自己碎掉。魅惑来自压低的胸腔共鸣与气声，而非用力——越脆弱，越要轻。
::audio{src="https://tos.arcloop.cn/handbook/audio/seed-audio-elevenlabs-ai-drama-dubbing/detailed-instruction.mp3" title="선옌 · 마지막으로 무장해제되는 순간 듣기" caption="이 음성은 위 캐릭터 카드 예시에서 생성되었습니다. 역할, 장면, 음색, 문맥이 맞으면 대사가 감정 곡선을 가진 연기로 바뀝니다." mediaId="seed-audio-shenyan-terminal-softening"}
모델에 넣는 방법:
- Seed Audio 1.0: 캐릭터, 장면, 음색을 연출 지시로 넣고 실제 읽을 대사와 분리합니다. 괄호 속 행동과 감정은 음성 지시로 바꿔 대사처럼 읽히지 않게 합니다.
- ElevenLabs: 먼저 가까운 음색을 고르고, 연기 지시를
[weakly],[whispers],[voice trembling],[chuckles softly]같은 태그로 옮깁니다. 긴 문장은 감정 단위로 나눕니다.
첫 프롬프트 템플릿
젊은 남성 캐릭터. 낮은 목소리, 피곤한 상태.
방금 큰 말다툼을 끝낸 듯하고, 감정을 억누르고 있다.
말하는 속도는 느리다.
대사: 이제는 너를 어떻게 믿어야 할지 모르겠어.
생성 후에는 먼저 감정이 맞는지 듣고, 그다음 캐릭터 목소리로 맞는지 들어보세요. 너무 평평하면 감정 경로를 더 구체화하고, 너무 과하면 강도를 낮춥니다. 음성만 따로 듣지 말고 영상의 표정, 행동, 컷 리듬과 함께 확인해야 합니다.
간단한 AI 드라마 더빙 워크플로우
- 캐릭터 대사를 준비합니다. 대사만 붙여 넣지 말고 현재 감정, 장면, 상대와의 관계를 함께 씁니다.
- 음성 모델을 선택합니다. 감정 표현이 중요하면 Seed Audio 1.0부터, 캐릭터 음성 안정성과 장기 재사용이 중요하면 ElevenLabs부터 시도합니다. 고정 캐릭터는 AI 드라마 캐릭터 기준표에 음성 기준과 말투를 남겨 두세요.
- 음성 프롬프트를 씁니다. 누가 말하는지, 목소리 거리가 가까운지, 감정을 숨기는지 터뜨리는지, 실제 대사가 무엇인지 분리합니다.
- 생성하고 검토합니다. 감정, 음색, 캐릭터 적합도 순서로 듣고, 쓸 만한 카드, 음색, 설정, 실패 사례를 저장합니다.
- 장면 안에서 테스트합니다. 목소리가 표정, 행동, 샷, 이야기 타이밍과 맞는지 확인합니다.
한 줄로 정리하면, 감정은 대본에서 오고, 목소리의 동일성은 캐릭터 기준표에서 옵니다. Seed Audio 1.0과 ElevenLabs는 그 규칙을 소리로 렌더링하는 역할입니다. 제작을 시작할 때는 Arcloop Worlds에서 대본, 캐릭터, 음성 규칙을 같은 프로젝트 안에 남겨 두세요.
FAQ
처음에는 어떤 모델을 써야 하나요? 중국어 쇼트폼 드라마, 섬세한 감정, 방언, 분위기 있는 장면 음성이라면 Seed Audio 1.0부터 시도하기 좋습니다. 고정 캐릭터, 다국어 버전, 한 줄씩 세밀한 조정이 필요하면 ElevenLabs가 잘 맞습니다. 같은 장면으로 둘 다 생성해 비교하는 것이 가장 빠릅니다.
Seed Audio 1.0은 일반 TTS와 무엇이 다른가요? 일반 TTS는 한 줄의 사람 목소리를 만드는 데 가깝습니다. Seed Audio 1.0은 캐릭터, 감정, 내레이션, 환경음, 효과음이 하나의 드라마 목적을 향하도록 만드는 장면 음성으로 보면 활용하기 쉽습니다.
ElevenLabs를 중국어 드라마에도 쓸 수 있나요? 쓸 수 있습니다. 다만 중국어 웹드라마식 말투, 방언, 현지 표현은 실제 대사로 테스트해야 합니다. 강점은 음색 안정성, 다국어 워크플로우, 태그 기반 세부 조정입니다.
같은 역할이 다른 사람처럼 들리지 않게 하려면? 음성을 에셋으로 관리하세요. 같은 음색 또는 복제 음성, 같은 설정, 같은 캐릭터 카드를 유지하고, 바뀌는 경우에는 이유를 기록해야 합니다.
왜 일부 예시는 중국어인가요? 이번 청취 세트가 중국어 쇼트폼 드라마 더빙 워크플로우로 만들어졌기 때문에 음성과 맞추기 위해 일부 예시를 중국어로 유지했습니다. 방식은 다른 언어에도 같습니다. 인물, 감정, 장면, 음색, 재사용 규칙을 먼저 정합니다.
