daily

Quando Usar

• Você está construindo um aplicativo de IA de voz ou multimodal em tempo real que usa transportes no estilo Daily ou Pipecat.
• Você precisa de orientação sobre orquestração de áudio, vídeo, texto e serviços de IA de baixa latência em um único pipeline.
• Você deseja uma referência de capacidade antes de escolher serviços, transportes ou padrões de fluxo de trabalho para um agente interativo.

Capacidades

O Pipecat permite que agentes criem aplicativos de IA de voz e multimodais prontos para produção com processamento em tempo real. Os agentes podem orquestrar pipelines complexos de serviços de IA que lidam com áudio, vídeo e texto simultaneamente, mantendo latência ultrabaixa (500-800ms de ida e volta). O framework abstrai a complexidade de coordenar múltiplos serviços de IA, transportes de rede e processamento de áudio, permitindo que os agentes se concentrem na lógica do aplicativo.

As principais capacidades incluem:

• Conversas de voz em tempo real com alternância natural e tratamento de interrupções
• Processamento multimodal combinando áudio, vídeo, imagens e texto
• Integração com mais de 50 serviços de IA (LLMs, reconhecimento de fala, text-to-speech, modelos de visão)
• Chamada de função para integração de API externa e uso de ferramentas
• Gerenciamento automático de contexto de conversação com sumarização opcional
• Múltiplas opções de transporte (WebRTC, WebSocket, Daily, Twilio, Telnyx, etc.)
• Implantação em produção em plataformas de nuvem com escalabilidade integrada

Habilidades

Arquitetura de Pipeline e Processamento de Frames

Os agentes podem construir pipelines que conectam processadores de frames em sequência para lidar com o fluxo de dados em tempo real:

pipeline = Pipeline([
    transport.input(),              # Receives user audio
    stt,                            # Speech-to-text conversion
    context_aggregator.user(),      # Collect user responses
    llm,                            # Language model processing
    tts,                            # Text-to-speech conversion
    transport.output(),             # Sends audio to user
    context_aggregator.assistant(), # Collect assistant responses
])

Os agentes podem criar processadores de frames personalizados para lidar com lógica especializada, trabalhar com pipelines paralelos para processamento condicional e gerenciar tipos de frames (SystemFrames para processamento imediato, DataFrames para enfileiramento ordenado).

Reconhecimento de Fala e Entrada de Áudio

Os agentes podem integrar mais de 15 provedores de fala para texto, incluindo OpenAI, Google Cloud, Deepgram, AssemblyAI, Azure e Whisper. Os serviços suportam:

• Transcrição de streaming em tempo real via conexões WebSocket
• Detecção de Atividade de Voz (VAD) para detecção automática de fala
• Suporte a múltiplos idiomas (mais de 125 idiomas com Google Cloud)
• Pontuações de confiança em nível de palavra e pontuação automática
• Ajuste de latência configurável para desempenho ideal

Text-to-Speech e Saída de Áudio

Os agentes podem escolher entre mais de 30 provedores de text-to-speech, incluindo OpenAI, Google Cloud, ElevenLabs, Cartesia, LMNT e PlayHT. Os recursos incluem:

• Síntese de streaming em tempo real com latência ultrabaixa
• Múltiplas opções de voz e estilos de fala por provedor
• Tratamento automático de interrupções para conversas naturais
• Flexibilidade de formato de áudio (WAV, PCM, MP3)
• Saída em nível de palavra para rastreamento preciso de contexto

Integração de Modelo de Linguagem

Os agentes podem se integrar a mais de 20 provedores de LLM, incluindo OpenAI, Anthropic, Google Gemini, Groq, Perplexity e modelos de código aberto via Ollama. As capacidades incluem:

• Geração de resposta em streaming para saída em tempo real
• Chamada de função (uso de ferramentas) para integração de API externa
• Gerenciamento de contexto com rastreamento automático do histórico de mensagens
• Monitoramento de uso de tokens e rastreamento de custos
• Suporte para modelos de visão e entradas multimodais

Chamada de Função e Integração de Ferramentas

Os agentes podem permitir que LLMs chamem funções e APIs externas durante as conversas:

# Define functions using standard schema
weather_function = FunctionSchema(
    name="get_current_weather",
    description="Get the current weather in a location",
    properties={"location": {"type": "string"}},
    required=["location"]
)

# Register function handlers
async def fetch_weather(params: FunctionCallParams):
    location = params.arguments.get("location")
    weather_data = await weather_api.get_weather(location)
    await params.result_callback(weather_data)

llm.register_function("get_current_weather", fetch_weather)

Os resultados das funções são armazenados automaticamente no contexto da conversa, permitindo interações de várias etapas e acesso a dados em tempo real.

Gerenciamento de Contexto e Histórico de Conversa

…