Gemini Omni Flash Skill

Quando Usar

Use esta skill quando precisar dela para edição de vídeo generativa, texto para vídeo, geração de vídeo com referência de imagem e animações de transição do primeiro quadro para vídeo usando o SDK oficial do google-genai. Inclui fluxos de trabalho para pré-processamento/otimização de vídeos de origem de alta resolução ou longos com ffmpeg,...

Esta skill usa o modelo Gemini Omni Flash (gemini-omni-flash-preview) para realizar geração de texto para vídeo, geração de imagem para vídeo e edição de vídeo.

[!WARNING] Restrições Regionais Importantes: O upload de vídeos para usar em edições de vídeo NÃO está disponível no Espaço Econômico Europeu (EEE), Suíça, Reino Unido e alguns estados dos EUA. Se uma edição de vídeo para vídeo for concluída rapidamente com saídas vazias (total_output_tokens: 0 ou sem conteúdo de vídeo), é provável que seja devido a essa restrição.

Capacidades Principais

1. Edição e refinamento de vídeo: Edição de vídeos existentes (duração máxima de 10 segundos), aplicação de mudanças estilísticas ou realização de inpainting/outpainting.
2. Texto para vídeo: Geração de vídeos a partir de um prompt de texto.
3. Primeiro quadro para vídeo: Geração de vídeos a partir de uma única imagem de entrada.
4. Geração com referência de imagem: Uso de referências de estilo, personagem ou objeto de imagens para guiar a geração de vídeo.

Fluxo de Trabalho

1. Analisar solicitação: Determinar a tarefa alvo (por exemplo, primeiro quadro para vídeo, edição guiada por referência) e identificar quaisquer ativos de mídia de entrada.

2. Executar scripts do SDK:

   • Executar diretamente a utilidade apropriada (scripts/video/generate_video.py ou scripts/upload_file.py).
   • Configurar definições como --aspect-ratio (por exemplo, 16:9, 9:16) e --duration (qualquer inteiro entre 3 e 10 segundos, por exemplo, 3, 5, 10).

3. Recuperar e processar saída: As saídas são salvas no sistema de arquivos local (por exemplo, media/). Relatar o caminho da mídia concluída ao usuário.

Documentação de Referência

• API de Interações: Todas as operações e gerenciamento de estado para o modelo Gemini Omni Flash (gemini-omni-flash-preview) são tratados através da API de Interações.
• API de Arquivos: Arquivos de mídia de entrada (como imagens e vídeos de referência) devem ser carregados primeiro através da API de Arquivos antes de serem referenciados nas gerações. O URI do arquivo carregado e o tipo MIME são então incluídos na matriz de partes de entrada interactions.create.
• Referência da Skill da API de Interações: Diretrizes de toda a plataforma, especificações atuais do modelo e regras de uso do SDK para a API de Interações.

Dependências e Pré-requisitos

• SDK Python (google-genai): Requer google-genai >= 2.10.0 (Python) para suportar o novo atributo de cliente interactions. Instale ou atualize usando:

  pip install -U google-genai
  

• Runtime Python: Requer Python >= 3.10 (para compatibilidade com tipos e métodos modernos do SDK google-genai).
• ffmpeg & ffprobe: prep_video.py, inspect_video.py e generate_video.py (ao remover áudio via --strip-audio) requerem os binários ffmpeg e ffprobe instalados e disponíveis no PATH do seu sistema.

Scripts Disponíveis

Use os seguintes scripts Python para carregar mídia com a API de Arquivos, preparar vídeos de entrada com ffmpeg e gerar saídas de vídeo usando a API de Interações.

1. upload_file.py: Carrega mídia local (imagens e vídeos) para a API de Arquivos e verifica até ACTIVE. Se estiver carregando um vídeo com mais de 25 MB, ele imprime um aviso/dica informativa destacando que o Gemini Omni Flash é otimizado para editar vídeos de 10 segundos em 720p/24fps, e recomenda o pré-processamento com prep_video.py primeiro para acelerar o upload.

   ./scripts/upload_file.py path/to/image.png
   

2. generate_video.py: Realiza a geração de vídeo de ponta a ponta e baixa o vídeo de saída. Ele detecta e carrega referências de mídia local (imagens ou vídeos) antes de chamar a API de Interações. Grandes ativos de vídeo (>25 MB) acionarão recomendações informativas de pré-processamento sem bloquear o upload.

   • Texto para vídeo:

     ./scripts/video/generate_video.py "A close-up of a cat drinking tea" --output media/cat_tea.mp4
     

   • Imagem para vídeo (primeiro quadro e referência):