Doubao 오디오 생성 모델 1.0을 처음 쓸 때 많은 사람은 일반 TTS처럼 한 줄 대사를 넣고 모델이 연기를 알아서 채우길 기대합니다. 그 방식은 또렷한 음성은 만들 수 있지만 장면을 만들기는 어렵습니다. 실전 결론은 간단합니다. Doubao Audio 1.0은 디렉터식 프롬프트와 잘 맞습니다. 대사만 쓰지 말고 캐릭터, 말투, 환경음, 효과음, 음악을 같은 타임라인에 올려야 합니다.
먼저 T2A와 TA2A를 나누기
T2A, 텍스트/이미지에서 오디오 생성은 처음부터 만드는 작업에 적합합니다. 캐릭터 더빙, 내레이션, 짧은 드라마 장면, 오디오북, 버추얼 진행자에 쓸 수 있습니다. 참조 이미지는 캐릭터 분위기를 보조하지만 한 번에 한 장만 쓸 수 있고 참조 오디오와 함께 쓸 수 없습니다.
TA2A, 참조 오디오 + 텍스트에서 오디오 생성은 목소리를 유지하는 작업에 적합합니다. 1~3개의 참조 오디오나 음색 라이브러리/복제 음색을 쓰고, 프롬프트 안에서 @오디오1, @오디오2, @음색1처럼 지정합니다.
- 연기 방향을 탐색할 때는 T2A를 씁니다.
- 반복 등장하는 캐릭터의 목소리를 고정할 때는 TA2A를 씁니다.
- 여러 화자가 있으면 각 인물과 참조 오디오의 대응을 프롬프트에 명확히 씁니다.
기본 구조: 시간순으로 소리 대본 쓰기
안정적인 형식은 “감정 + 대사”가 아닙니다. 음악이 어떻게 시작하고, 누가 등장하며, 어떻게 말하고, 어떤 효과음이 끼어들고, 상대가 어떻게 답하는지 순서대로 씁니다. 프롬프트는 사운드 스토리보드입니다. 각 비트는 누가 말하는지, 어떻게 말하는지, 무엇이 함께 들리는지를 정합니다.
음악/환경음: 스타일, 악기, 리듬, 공간감을 쓴다.
인물A(나이, 성별, 음색, 억양, 감정, 역할)가 “대사”를 말한다.
효과음: 무엇이 어떤 강도와 횟수, 지속 시간으로 나는지 쓴다.
인물B가 자신의 음색과 말투로 답한다.
마무리: 음악, 발소리, 문소리, 전화 왜곡, 환경음이 어떻게 끝나는지 쓴다.
캐릭터 대사 쓰는 법
인물 지시는 첫 대사 앞이나 짧은 인물 목록에 둡니다. 여러 화자 장면에서는 이름, 역할, 번호로 구분해야 합니다. “남자 목소리”, “여자 목소리”만으로는 부족합니다. 괄호 안 설명에는 나이, 성별, 음색, 억양, 감정, 역할, 거리감, 말버릇을 쓸 수 있습니다. 추상적인 분위기보다 들리는 행동이 더 잘 작동합니다.
- 유용한 표현: 낮은, 쉰, 숨이 많은, 전화로 왜곡된, 대만 억양, 느린 속도, 떨리는 어미.
- 혼자 쓰면 약한 표현: 고급스러운, 무너질 듯한, 영화 같은, 운명적인. 들리는 행동으로 바꿔야 합니다.
- 감정을 과하게 쌓지 마세요. 지나친 감정 지시는 자연스러움을 떨어뜨릴 수 있습니다.
효과음과 음악은 장식이 아니라 프롬프트의 일부
Doubao Audio 1.0의 장점 중 하나는 대사, 효과음, 환경음, 음악을 함께 생성할 수 있다는 점입니다. 효과음은 전문 용어가 아니라 자연어로 설명해도 됩니다. 효과음은 순서, 강도, 횟수, 지속 시간을 쓰고, 음악은 스타일, 주 악기, 리듬, 분위기를 씁니다. 악기명을 모르면 느낌을 자연어로 쓰면 됩니다.
처음에 휴대폰 진동음이 한 번 난다. 배경에는 새소리가 계속된다.
마림바와 현악기 중심의 긴장감 있는 음악이 들어온다.
잠시 뒤 멀리서 자동차가 지나가고, 가벼운 브레이크 소리, 하이힐 발소리 두 번이 들린다.
TA2A 참조 오디오 쓰는 법
참조 오디오는 업로드만으로 충분하지 않습니다. 프롬프트 안에서 참조 대상을 지정하고, 그것이 음색, 감정, 속도, 캐릭터 정체성 중 무엇을 제공하는지 써야 합니다. 여러 참조를 쓸 때는 각 참조를 각 인물에 연결하거나, 하나는 음색, 다른 하나는 감정과 리듬에 씁니다.
남주(청년 남성, 낮고 절제된 목소리, @오디오1 참조)가 목소리를 낮춰 말한다: “언제 알았어?”
여주(청년 여성, 부드럽지만 경계하는 목소리, @오디오2 참조)가 반 박자 뒤 답한다: “네가 처음 거짓말했을 때부터.”
음악은 낮고 긴장감 있게 유지한다. 대사 끝에는 아주 약한 전화 전류음을 넣는다.
복사해서 쓰는 T2A 템플릿
먼저 한 번 생성한 뒤, 음색, 감정, 속도, 효과음 중 하나만 바꿔가며 조정하세요.
음악: 절제된 저음 서스펜스 음악이 먼저 들어온다. 느린 템포, 옅은 현악 질감.
인물:
린처(청년 남성, 낮고 쉰 목소리, 느린 속도, 감정을 누르고 있으며 두렵지만 인정하지 않으려 함)
쉬야오(청년 여성, 맑지만 지친 목소리, 어미가 조금 떨리고 침착하려고 함)
효과음: 휴대폰이 한 번 진동하고, 약한 빗소리가 이어진다.
린처가 목소리를 낮춰 말한다: “방금 들었어? 위층에 누가 있어.”
쉬야오가 반 박자 멈추고 숨을 들이마신 뒤 아주 작게 답한다: “뒤돌아보지 마. 계속 걸어.”
효과음: 멀리서 나무문이 천천히 열린다. 음악의 저음이 더 무거워진다.
복사해서 쓰는 TA2A 템플릿
캐릭터 참조 오디오가 있다면 프롬프트 안에서 바로 연결하세요.
참조 매핑: @오디오1은 남주, @오디오2는 여주.
음악: 부드러운 피아노와 방 안의 공기, 따뜻하지만 조금 후회가 있다.
남주(성인 남성, 낮고 숨이 많은 목소리, @오디오1 참조)가 절제된 미련으로 말한다: “내일 내가 돌아오지 않으면, 더는 기다리지 마.”
여주(청년 여성, 부드럽고 울먹이는 목소리, @오디오2 참조)가 조용히 끊는다: “내가 기다릴지는 네가 정하는 게 아니야.”
효과음: 창밖에 가는 비. 마지막 대사 뒤에 2초의 정적을 남긴다.
제한은 프롬프트 길이에 직접 영향을 준다
한 번의 생성은 약 2분까지입니다. 입력은 3000자까지 가능하지만 듣기 좋은 결과를 위해 실제 낭독 텍스트는 짧게 유지하는 편이 안전합니다. 대사가 너무 길면 속도가 빨라지거나 잘릴 수 있습니다. 참조 오디오는 최대 3개, 각각 30초 이내입니다. 참조 이미지는 한 번에 1장만 가능하며 참조 오디오와 함께 쓸 수 없습니다.
- 드라마 대사는 30~90초 단위로 나눕니다.
- 오디오북은 장이 아니라 감정 단위로 나눕니다.
- 여러 캐릭터 장면은 먼저 각 목소리를 고정한 뒤 효과음과 음악을 추가합니다.
Arcloop 워크플로에서 쓰는 법
- 캐릭터 바이블에 목소리 기준을 씁니다: 나이, 질감, 억양, 말하기 방식, 감정 경계.
- 대본을 생성 가능한 비트로 나눕니다. 한 비트는 하나의 주요 감정 전환만 다룹니다.
- 비트마다 T2A 또는 TA2A를 고릅니다. 탐색은 T2A, 고정 캐릭터는 TA2A.
- 미리듣기 후 잘 된 프롬프트를 캐릭터 자산으로 저장하고 실패 프롬프트도 이유와 함께 남깁니다.
- 독립 오디오만 듣지 말고 스토리보드나 영상 컷 안에서 확인합니다.
FAQ
Doubao Audio 1.0은 일반 TTS와 무엇이 다른가요?
일반 TTS는 음성을 읽습니다. Doubao Audio 1.0은 대사, 환경음, 효과음, 음악이 포함된 오디오 장면을 생성할 수 있습니다.
프롬프트는 길수록 좋은가요?
아닙니다. 구체적이어야지 비대하면 안 됩니다. 먼저 시간순, 화자, 대사, 효과음, 음악을 쓰고, 들어본 뒤 세부를 더하세요.
여러 캐릭터의 목소리를 유지하려면?
TA2A를 쓰고 각 인물을 @오디오N에 연결한 뒤, 말할 때마다 speaker와 참조를 함께 표시합니다.
괄호 안 행동이 읽힐 수 있나요?
그럴 수 있습니다. 중요한 행동은 말투 지시로 바꾸거나 대사 본문과 명확히 분리하세요. 반드시 한 번 들어 확인해야 합니다.
