Connectez Fish Audio TTS à Pipecat

Le OpenAITTSService de Pipecat accepte un base_url personnalisé, permettant au Fish Audio de fournir de la parole dans un pipeline vocal en temps réel.

Installer et configurer

uv add "pipecat-ai[openai]"

import os
from pipecat.services.openai import OpenAITTSService

tts = OpenAITTSService(
    api_key=os.environ["FISH_AUDIO_API_KEY"],
    base_url="https://fishaudio.org/v1",
    settings=OpenAITTSService.Settings(
        model="fishaudio-s21pro-flash",
        voice="00a1b221-6137-4b73-ad62-b0cbce134167",
        speed=1.0,
    ),
)

Ajoutez tts au pipeline Pipecat et vérifiez qu'une phrase courte atteint le transport sous forme de trames audio avant d'ajouter STT, un LLM et la gestion des interruptions.

Considérations audio

Le pipeline OpenAI TTS de Pipecat traite l'audio PCM 24 kHz. Ne vous arrêtez pas à une vérification du HTTP 200 : écoutez le résultat et vérifiez la fréquence d'échantillonnage, le nombre de canaux et la vitesse de lecture.

Dépannage

• Avertissement concernant les paramètres obsolètes : utilisez OpenAITTSService.Settings plutôt que le modèle de niveau supérieur et les arguments vocaux existants.
• Audio rapide, lent ou bruyant : alignez la fréquence d'échantillonnage de transport sur le service TTS.
• 401/402 : vérifiez la variable d'environnement côté serveur et les crédits API.

Documentation associée

• Pipecat OpenAI TTS
• Erreurs API