Habilidade de Desenvolvimento da API Live do Gemini

Quando Usar

Use esta habilidade ao construir aplicações de streaming em tempo real e bidirecionais com a API Live do Gemini. Abrange streaming de áudio/vídeo/texto baseado em WebSocket, detecção de atividade de voz (VAD), recursos nativos de áudio, chamada de função, gerenciamento de sessão, tokens efêmeros para autenticação do lado do cliente, etc.

Visão Geral

A API Live permite interações de voz e vídeo em tempo real e de baixa latência com o Gemini via WebSockets. Ela processa fluxos contínuos de áudio, vídeo ou texto para entregar respostas faladas imediatas e semelhantes às humanas.

Principais capacidades:

• Streaming de áudio bidirecional — conversas em tempo real de microfone para alto-falante
• Streaming de vídeo — envie quadros de câmera/tela junto com áudio
• Entrada/saída de texto — envie e receba texto dentro de uma sessão ativa
• Transcrições de áudio — obtenha transcrições de texto do áudio de entrada e saída
• Detecção de Atividade de Voz (VAD) — tratamento automático de interrupções
• Áudio nativo — pensando (com thinkingLevel configurável)
• Chamada de função — uso síncrono de ferramentas
• Ancoragem de Pesquisa Google — ancore respostas em resultados de pesquisa em tempo real
• Gerenciamento de sessão — compressão de contexto, retomada de sessão, sinais GoAway
• Tokens efêmeros — autenticação segura do lado do cliente

[!NOTE] A API Live atualmente só suporta WebSockets. Para suporte a WebRTC ou integração simplificada, use uma integração de parceiro.

Modelos

• gemini-3.1-flash-live-preview — Otimizado para diálogo em tempo real e de baixa latência. Saída de áudio nativa, pensando (via thinkingLevel). Janela de contexto de 128k. Este é o modelo recomendado para todos os casos de uso da API Live.
• gemini-3.5-live-translate-preview — Modelo de tradução em tempo real.

[!WARNING] Os seguintes modelos da API Live estão descontinuados e serão desativados. Migre para gemini-3.1-flash-live-preview.

• gemini-2.5-flash-native-audio-preview-12-2025 — Migre para gemini-3.1-flash-live-preview.
• gemini-live-2.5-flash-preview — Lançado em 17 de junho de 2025. Desativação: 9 de dezembro de 2025.
• gemini-2.0-flash-live-001 — Lançado em 9 de abril de 2025. Desativação: 9 de dezembro de 2025.

SDKs

• Python: google-genai — pip install google-genai
• JavaScript/TypeScript: @google/genai — npm install @google/genai

[!WARNING] SDKs legados google-generativeai (Python) e @google/generative-ai (JS) estão descontinuados. Use os novos SDKs acima.

Integrações de Parceiro

Para otimizar o desenvolvimento de aplicações de áudio/vídeo em tempo real, use uma integração de terceiros que suporte a API Live do Gemini via WebRTC ou WebSockets:

• LiveKit — Use a API Live do Gemini com LiveKit Agents.
• Pipecat by Daily — Crie um chatbot de IA em tempo real usando Gemini Live e Pipecat.
• Fishjam by Software Mansion — Crie aplicações de streaming de vídeo e áudio ao vivo com Fishjam.
• Vision Agents by Stream — Construa aplicações de IA de voz e vídeo em tempo real com Vision Agents.
• Voximplant — Conecte chamadas de entrada e saída à API Live com Voximplant.
• Firebase AI SDK — Comece a usar a API Live do Gemini com o Firebase AI Logic.

Formatos de Áudio

• Entrada: PCM bruto, little-endian, 16 bits, mono. Nativo de 16kHz (irá reamostrar outros). Tipo MIME: audio/pcm;rate=16000
• Saída: PCM bruto, little-endian, 16 bits, mono. Taxa de amostragem de 24kHz.

[!IMPORTANT] Use send_realtime_input / sendRealtimeInput para toda entrada de usuário em tempo real (áudio, vídeo, e texto). send_client_content / sendClientContent é apenas suportado para semear o histórico de contexto inicial (requer a configuração de initial_history_in_client_content em history_config). Não o use para enviar novas mensagens de usuário durante a conversa.

[!WARNING] Não use media em sendRealtimeInput. Use as chaves específicas: audio para dados de áudio, video para quadros de imagem/vídeo e text para entrada de texto.

Início Rápido

Autenticação

Python

import os
from google import genai

client = genai.Client(api_key=os.environ["GEMINI_API_KEY"])

JavaScript

import { GoogleGenAI } from '@google/genai';

const ai = new GoogleGenAI({ apiKey: 'YOUR_API_KEY' });

…