Fish Audio TTS mit Pipecat verbinden

Der OpenAITTSService von Pipecat akzeptiert einen benutzerdefinierten base_url, sodass Fish Audio Sprache in einer Echtzeit-Sprachpipeline bereitstellen kann.

Installieren und konfigurieren

uv add "pipecat-ai[openai]"

import os
from pipecat.services.openai import OpenAITTSService

tts = OpenAITTSService(
    api_key=os.environ["FISH_AUDIO_API_KEY"],
    base_url="https://fishaudio.org/v1",
    settings=OpenAITTSService.Settings(
        model="fishaudio-s21pro-flash",
        voice="00a1b221-6137-4b73-ad62-b0cbce134167",
        speed=1.0,
    ),
)

Fügen Sie tts zur Pipecat-Pipeline hinzu und überprüfen Sie, ob ein kurzer Satz den Transport als Audio-Frames erreicht, bevor Sie STT, ein LLM und die Unterbrechungsbehandlung hinzufügen.

Audio-Überlegungen

Die Pipeline OpenAI TTS von Pipecat verarbeitet 24-kHz-PCM-Audio. Bleiben Sie nicht bei einer Überprüfung des HTTP 200 stehen: Hören Sie sich das Ergebnis an und überprüfen Sie die Abtastrate, die Kanalanzahl und die Wiedergabegeschwindigkeit.

Fehlerbehebung

• Warnung zu veralteten Parametern: Verwenden Sie OpenAITTSService.Settings anstelle von älteren Modell- und Sprachargumenten der obersten Ebene.
• Schnelles, langsames oder verrauschtes Audio: Passen Sie die Transport-Abtastrate an den TTS-Dienst an.
• 401/402: Überprüfen Sie die serverseitige Umgebungsvariable und die API-Credits.

Verwandte Dokumentation

• Pipecat OpenAI TTS
• API Fehler