Chatterbox TTS: локальный голос и клонирование голоса для AI-ассистента

В голосовом AI-ассистенте обычно есть минимум три независимых блока: распознавание речи, LLM и синтез речи. Chatterbox закрывает последний слой: получает текст и генерирует audio waveform.

Current README и Hugging Face model card перечисляют Russian (ru) среди 23 поддерживаемых языков. Для генерации нужно явно передать language_id="ru".

import torchaudio as ta
from chatterbox.mtl_tts import ChatterboxMultilingualTTS

model = ChatterboxMultilingualTTS.from_pretrained(
    device="cuda",
    t3_model="v3",
)

text = """
Добрый день. Это локальный синтез речи Chatterbox.
Модель работает на вашем компьютере.
"""

wav = model.generate(
    text,
    language_id="ru",
)

ta.save("russian.wav", wav, model.sr)

import torchaudio as ta
from chatterbox.tts import ChatterboxTTS

model = ChatterboxTTS.from_pretrained(
    device="cuda",
)

text = "Hello from a local text to speech model."

wav = model.generate(text)

ta.save(
    "output.wav",
    wav,
    model.sr,
)

При первом запуске weights будут загружены из model repository. После этого inference выполняется локально, если сама программа не использует дополнительные облачные сервисы.

import torchaudio as ta
from chatterbox.tts_turbo import ChatterboxTurboTTS

model = ChatterboxTurboTTS.from_pretrained(
    device="cuda",
)

text = """
Hi, I found the problem [chuckle].
The service was using the old configuration.
"""

wav = model.generate(
    text,
    audio_prompt_path="voice-reference.wav",
)

ta.save("turbo.wav", wav, model.sr)

Official README называет Turbo streamlined 350M architecture. Он использует single-step speech-token-to-mel decoder вместо прежних 10 steps и позиционируется как основной вариант для low-latency English voice agents.

V3 сохраняет размер около 500M, а Resemble AI заявляет улучшенную speaker similarity, меньше unwanted continuation/repetition и более естественную разговорную речь по сравнению с предыдущим multilingual checkpoint.

from chatterbox.mtl_tts import ChatterboxMultilingualTTS

model = ChatterboxMultilingualTTS.from_pretrained(
    device="cuda",
    t3_model="v3",
)

wav = model.generate(
    "Теперь этот голос говорит по-русски.",
    language_id="ru",
    audio_prompt_path="reference.wav",
)

Если t3_model не указывать, current README объясняет, что используется legacy V2 path; V3 нужно запросить явно.

Current package metadata поддерживает Python 3.10+, но официальный README говорит, что development/testing выполнялись на Python 3.11 и Debian 11. В GitHub issues есть многочисленные Windows/CUDA reports, особенно у старых package combinations.

python -c "import torch; print(torch.__version__); print(torch.cuda.is_available())"

Repository прямо указывает, что generated audio содержит PerTh (Perceptual Threshold) neural watermark. Resemble AI заявляет, что он imperceptible, переживает MP3 compression и типичные audio manipulations, сохраняя почти 100% detection accuracy. Последняя цифра — утверждение самого разработчика проекта.

import perth
import librosa

audio, sr = librosa.load(
    "generated.wav",
    sr=None,
)

watermarker = perth.PerthImplicitWatermarker()

value = watermarker.get_watermark(
    audio,
    sample_rate=sr,
)

print(value)