Seed Audio 1.0

개요

Seed Audio 1.0은 ByteDance의 올인원 오디오 모델로, 음성 합성과 결별하는 대신 그다음 단계로 만들어졌습니다. 전통적인 오디오 작업은 음성, 음악, 효과음을 각각 다른 도구로 따로 만든 뒤 믹싱합니다. Seed Audio 1.0은 텍스트 프롬프트 하나로 셋을 함께 만들고, 결과물은 바로 쓸 수 있는 완성 오디오 트랙입니다.

텍스트에서 음성으로, 다시 참조에서 오디오로

기존 TTS는 목소리 하나와 텍스트 덩어리를 받습니다. Seed Audio 1.0은 장면을 받습니다. 날씨와 공간, 그 아래 깔리는 음악, 동작 주변의 효과음, 인물마다의 생김새와 목소리, 그리고 그들이 하는 대사까지. 설명할 수 있는 모든 것이 같은 생성의 일부가 되며, 프롬프트가 군더더기 없이 3,000자까지 늘어날 수 있는 이유가 여기 있습니다.

모델은 장면의 맥락을 이해합니다. 카페 대화 프롬프트에는 밋밋한 룸톤이 아니라 주변의 웅성거림과 알맞은 음향 공간이 따라옵니다. 액션 장면에는 정적 위에 얹은 배경음악이 아니라 날카로운 효과음과 역동적인 음악이 붙습니다. 세 겹은 따로 내보낸 파일을 이어 붙인 것이 아니라, 장면에 맞게 비율이 잡히고 믹싱된 채로 나옵니다.

네 가지 모드

가장 단순한 것은 음성 합성입니다. 목소리를 고르고 텍스트를 넣으면 모델이 읽습니다. 음성 클로닝은 여기에 한 단계를 더합니다. 오디오 클립 하나를 올리면 복제된 목소리를 같은 음성 합성에 쓸 수 있습니다. 나머지 두 모드가 이 모델을 일반 TTS와 갈라놓는 지점입니다.

텍스트→오디오(T2A) 에서는 모든 목소리가 설명에서 나옵니다. 인물의 나이, 억양, 감정, 톤, 속도를 적으면 모델이 배역을 정합니다.

텍스트+오디오→오디오(TA2A) 에서는 각 30초 이내의 참조 클립을 최대 3개까지 올리고 프롬프트 안에서 각각을 인물에 연결합니다. 그러면 생성되는 목소리가 설명이 아니라 녹음을 따라갑니다. 참조 클립은 한 작업에만 올려 쓸 수도 있고, 에셋 라이브러리에 두고 시리즈 전체에서 재사용할 수도 있습니다.

스무 개 언어

Seed Audio 1.0은 영어, 중국어, 일본어, 한국어, 멕시코 스페인어, 카스티야 스페인어, 인도네시아어, 독일어, 브라질 포르투갈어, 프랑스어, 태국어, 베트남어, 말레이어, 필리핀어, 이탈리아어, 러시아어, 네덜란드어, 폴란드어, 튀르키예어, 스웨덴어로 생성합니다. 프롬프트 언어와 대본 언어는 같아야 합니다. 인물이 말하는 언어로 브리프를 쓰세요.

초 단위로 정할 수 있는 타이밍

Seed Audio 1.0은 어느 대사에나 타임스탬프를 받습니다. 줄 안에 [5.5s:8.0s]처럼 적으면 그 구간에 정확히 맞춰 연기를 넣습니다. 더빙에서는 대충 맞는 오디오와 컷에 정확히 떨어지는 오디오의 차이가 됩니다. 생성은 논스트리밍이라, 모델이 최대 2분 길이의 완성 트랙을 한 번에 렌더링합니다.