Executar DeepSWE via OpenRouter

Quando Usar

• Use quando o usuário quiser comparar o desempenho de um modelo em tarefas DeepSWE ou mini-swe-agent.
• Use quando você precisar de um plano de avaliação de agente de codificação reproduzível e artefatos de saída.

DeepSWE (deepswe.datacurve.ai) é um benchmark de agente de codificação compatível com Harbor com 113 tarefas. Ele é executado via Pier (fork do Harbor) que controla mini-swe-agent (agnóstico ao modelo). Qualquer modelo acessível através do OpenRouter pode ser pontuado.

Pré-requisitos — verifique o estado primeiro

which uv git docker || echo "MISSING: install uv, git, docker"
docker info >/dev/null 2>&1 || echo "MISSING: Docker daemon not running (Pier's default sandbox)"
echo "OPENROUTER_API_KEY set? ${OPENROUTER_API_KEY:+YES}"

Docker deve estar em execução — Pier isola cada tarefa no Docker por padrão (--env modal para nuvem em vez disso).

OPENROUTER_API_KEY deve estar presente no ambiente. Se não estiver definido, peça ao usuário para configurar seu caminho preferido de gerenciamento de segredos; não leia arquivos de inicialização do shell, imprima segredos ou invente uma chave.

Configuração

git clone https://github.com/datacurve-ai/deep-swe && cd deep-swe
uv tool install datacurve-pier            # PyPI (preferred)
# or: uv tool install git+https://github.com/datacurve-ai/pier
# pier bundles mini-swe-agent as the --agent driver

Execute todos os comandos pier de dentro deep-swe/, usando caminhos relativos -p tasks/....

Conexão OpenRouter (a parte que a documentação não explica)

mini-swe-agent tem uma classe de modelo OpenRouter nativa. Ambas as rotas abaixo usam OPENROUTER_API_KEY e o slug do OpenRouter (vendor/model, por exemplo, minimax/minimax-m3):

Rota A — classe OpenRouter nativa (preferida, acessa openrouter.ai/api/v1 diretamente):

pier run -p deep-swe/tasks --agent mini-swe-agent \
  --model minimax/minimax-m3 --model-class openrouter

Rota B — prefixo do provedor LiteLLM (fallback; mesma chave):

pier run -p deep-swe/tasks --agent mini-swe-agent \
  --model openrouter/minimax/minimax-m3

Observações:

• Slug = o slug exato do OpenRouter. Verifique em openrouter.ai/models antes de executar.
• Modelos gratuitos/de custo zero: o rastreamento de custos do OpenRouter pode apresentar erros. Defina export MSWEA_COST_TRACKING=ignore_errors.
• A grafia das flags pode variar por versão — confirme com pier run --help e mini --help.

Teste de fumaça PRIMEIRO (1 tarefa — faça isso antes de qualquer execução completa)

Sempre valide a conexão de ponta a ponta em uma única tarefa antes de gastar tokens no corpus:

pier run -p deep-swe/tasks/<task-id> --agent mini-swe-agent \
  --model minimax/minimax-m3 --model-class openrouter
# list available task ids:
ls deep-swe/tasks

Critérios de aprovação: a execução é concluída, o modelo retorna ações (não erros de autenticação/formato), uma pontuação/trajetória é emitida. Se retornar 401 → chave incorreta. Se "provedor não fornecido"/"modelo não mapeado" → corrija o slug ou mude de rota.

Execução de subconjunto (amostra determinística)

pier run -p deep-swe/tasks --agent mini-swe-agent \
  --model minimax/minimax-m3 --model-class openrouter \
  --n-tasks 10 --sample-seed 0

Corpus completo de 113 tarefas (consome tokens + tempo — confirme com o usuário primeiro)

pier run -p deep-swe/tasks --agent mini-swe-agent \
  --model minimax/minimax-m3 --model-class openrouter
# add `--env modal` to run in parallel Modal sandboxes (needs Modal configured)

Saída e placar

• Os testes são salvos em jobs/<run>/<trial_id>/. Inspecione com pier view jobs/<run>, pier analyze jobs/<run> ou pier critique run jobs/<run>.
• Relatório: o comando exato usado, aprovação/falha, pontuação e quaisquer bloqueios.
• Envie os resultados para o placar oficial para: <endereço de e-mail>

Modos de falha

Limitações

• Adaptado de davidondrej/skills; verifique caminhos locais, ferramentas, credenciais e recursos do agente antes de agir.
• Para comandos, acesso remoto, agendamento, automação de navegador ou fluxos de trabalho que alteram arquivos, obtenha aprovação explícita do usuário e confirme o ambiente de destino primeiro.