Skill VideoDB

Percepção + memória + ações para vídeos, transmissões ao vivo e sessões de desktop.

Quando usar

Percepção de Desktop

• Iniciar/parar uma sessão de desktop capturando tela, microfone e áudio do sistema
• Transmitir contexto ao vivo e armazenar memória episódica da sessão
• Executar alertas/gatilhos em tempo real sobre o que está sendo falado e o que está acontecendo na tela
• Produzir resumos de sessão, uma linha do tempo pesquisável e links de evidências reproduzíveis

Ingestão de vídeo + transmissão

• Ingerir um arquivo ou URL e retornar um link de transmissão web reproduzível
• Transcodificar/normalizar: codec, taxa de bits, fps, resolução, proporção

Indexar + pesquisar (carimbos de data/hora + evidências)

• Construir índices visuais, falados e de palavras-chave
• Pesquisar e retornar momentos exatos com carimbos de data/hora e evidências reproduzíveis
• Criar automaticamente clipes a partir dos resultados da pesquisa

Edição e geração de linha do tempo

• Legendas: gerar, traduzir, incorporar
• Sobreposições: texto/imagem/marca, legendas animadas
• Áudio: música de fundo, narração, dublagem
• Composição programática e exportações via operações de linha do tempo

Transmissões ao vivo (RTSP) + monitoramento

• Conectar feeds RTSP/ao vivo
• Executar compreensão visual e falada em tempo real e emitir eventos/alertas para fluxos de trabalho de monitoramento

Como funciona

Entradas comuns

• Caminho de arquivo local, URL público ou URL RTSP
• Solicitação de captura de desktop: iniciar / parar / resumir sessão
• Operações desejadas: obter contexto para compreensão, especificação de transcodificação, especificação de indexação, consulta de pesquisa, intervalos de clipes, edições de linha do tempo, regras de alerta

Saídas comuns

• URL de transmissão
• Resultados da pesquisa com carimbos de data/hora e links de evidências
• Ativos gerados: legendas, áudio, imagens, clipes
• Cargas úteis de eventos/alertas para transmissões ao vivo
• Resumos de sessão de desktop e entradas de memória

Executando código Python

Antes de executar qualquer código VideoDB, mude para o diretório do projeto e carregue as variáveis de ambiente:

from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()

Isso lê VIDEO_DB_API_KEY de:

1. Ambiente (se já exportado)
2. Arquivo .env do projeto no diretório atual

Se a chave estiver faltando, videodb.connect() gera AuthenticationError automaticamente.

NÃO escreva um arquivo de script quando um comando inline curto funcionar.

Ao escrever Python inline (python -c "..."), sempre use código formatado corretamente — use ponto e vírgula para separar instruções e mantenha-o legível. Para qualquer coisa com mais de ~3 instruções, use um heredoc em vez disso:

python << 'EOF'
from dotenv import load_dotenv
load_dotenv(".env")

import videodb
conn = videodb.connect()
coll = conn.get_collection()
print(f"Videos: {len(coll.get_videos())}")
EOF

Configuração

Quando o usuário pedir para "configurar videodb" ou similar:

1. Instalar SDK

pip install "videodb[capture]" python-dotenv

Se videodb[capture] falhar no Linux, instale sem o extra de captura:

pip install videodb python-dotenv

2. Configurar chave de API

O usuário deve definir VIDEO_DB_API_KEY usando um dos métodos:

• Exportar no terminal (antes de iniciar o Claude): export VIDEO_DB_API_KEY=your-key
• Arquivo .env do projeto: Salve VIDEO_DB_API_KEY=your-key no arquivo .env do projeto

Obtenha uma chave de API gratuita em console.videodb.io (50 uploads gratuitos, sem cartão de crédito).

NÃO leia, escreva ou manipule a chave de API você mesmo. Sempre deixe o usuário configurá-la.

Referência Rápida

Fazer upload de mídia

# URL
video = coll.upload(url="https://example.com/video.mp4")

# YouTube
video = coll.upload(url="https://www.youtube.com/watch?v=VIDEO_ID")

# Local file
video = coll.upload(file_path="/path/to/video.mp4")

Transcrição + legenda

# force=True skips the error if the video is already indexed
video.index_spoken_words(force=True)
text = video.get_transcript_text()
stream_url = video.add_subtitle()

Pesquisar dentro de vídeos

from videodb.exceptions import InvalidRequestError

video.index_spoken_words(force=True)

# search() raises InvalidRequestError when no results are found.
# Always wrap in try/except and treat "No results found" as empty.
try:
    results = video.search("product demo")
    shots = results.get_shots()
    stream_url = results.compile()
except InvalidRequestError as e:
    if "No results found" in str(e):
        shots = []
    else:
        raise

Pesquisa de cena

import re

…