알려진 한계

zeroshot-tts는 완성된 제품이 아니라 실험용 템플릿입니다. 무엇이 잘 되는지만큼 무엇이 안 되는지를 아는 것이 중요합니다. 도입을 검토한다면 이 문서를 먼저 읽으세요.

청크 경계 이음매

가장 근본적인 한계입니다. 긴 문서는 여러 청크로 나눠 따로 합성하기 때문에, 경계에서 음색과 억양이 미세하게 튑니다. 참고한 프로젝트 castforge는 경계에서 기본 주파수가 약 55Hz 점프하는 이 문제 때문에 목소리 클로닝을 포기하고 정해진 성우 음성으로 돌아섰습니다.

이 하네스는 크로스페이드로 이음매를 가리고, 청크를 크게 잡아 경계 수를 줄이는 쪽으로 완화합니다. 하지만 크로스페이드는 가리는 것이지 없애는 것이 아닙니다. 독립 청크 합성이 만드는 경계는 지금 오픈소스 제로샷 TTS 공통의 구조적 한계라 완전히는 사라지지 않습니다. 1분에서 2분을 연속으로 들었을 때 음색이 드리프트하지 않고 경계가 안 들리는지를 목표로 삼되, 완벽하다고는 말하지 않습니다.

모델별 한국어 편차

한국어 지원은 모델마다 크게 다릅니다. F5-TTS나 Spark-TTS처럼 이름 있는 모델도 한국어를 공식 지원하지 않습니다. 한국어가 주 언어라면 후보가 GPT-SoVITS, CosyVoice2, XTTS-v2 정도로 좁아집니다. 자세한 판별은 모델 비교에 있습니다.

속도

로컬 CPU나 MPS 추론은 실시간보다 느릴 수 있습니다. 특히 XTTS는 MPS에서 멈추는 문제가 알려져 CPU로 돌리는데, 고성능 맥에서도 실시간의 약 1.5배 시간이 걸립니다. 긴 문서를 한 번에 변환하면 그만큼 기다려야 합니다.

라이선스

모델 코드와 가중치의 라이선스가 다를 수 있습니다. 상업적으로 쓸 거라면 특히 주의해야 합니다.

• XTTS-v2의 가중치는 CPML로 비상업입니다. 개인과 연구 용도만 됩니다.
• F5-TTS와 Fish-Speech의 가중치는 CC-BY-NC로 비상업입니다.
• 상업적으로 쓰려면 MIT나 Apache 모델만 씁니다. GPT-SoVITS, CosyVoice2, Chatterbox, OpenVoice가 여기에 해당합니다.

배포 시점에 따라 라이선스가 바뀔 수 있으니, 상업적으로 쓰기 전에 각 모델의 LICENSE를 다시 확인하세요.

참조음성 프라이버시

목소리는 개인 생체정보입니다. 이 프로젝트는 참조음성을 로그에 남기지 않고, 커밋하지 않고, 외부로 올리지 않도록 설계했습니다. .gitignore가 voice_refs/ 폴더와 오디오 파일을 막고, .claude/settings.json이 시크릿 읽기와 파괴적 명령을 차단합니다. 다만 이건 설계상의 방어이고, 최종 책임은 쓰는 사람에게 있습니다. 참조음성을 공유 저장소나 제3자 서비스에 올리지 마세요.

그래서 무엇에 쓰나

이 한계들을 감안하면, 지금 zeroshot-tts는 개인이 자기 문서를 자기 목소리로 들어 보는 실험에 맞습니다. 짧은 문서일수록, 참조음성이 깨끗할수록, 상업적 배포가 아닐수록 결과가 만족스럽습니다. 방송이나 상업 콘텐츠처럼 이음매 하나 없는 품질이 필요한 자리라면 아직 이릅니다.

다음

전체 흐름을 다시 보려면 문서에서 음성까지, 모델을 고르려면 모델 비교, 처음 세팅이면 세팅과 모델 선택으로 갑니다.