⚠️ USO AUTORIZADO APENAS Esta habilidade destina-se apenas a fins educacionais ou avaliações de segurança autorizadas. Você deve ter permissão explícita e por escrito do proprietário do sistema antes de usar esta ferramenta. O uso indevido desta ferramenta é ilegal e estritamente proibido.

Portão de confirmação obrigatório Antes de executar qualquer comando que sonde, explore, altere, persista, extraia dados ou tente acesso a credenciais contra um alvo:

1. Peça ao usuário para declarar o URL, IP, conta ou recurso exato do alvo.
2. Peça ao usuário para confirmar a autorização por escrito e o escopo permitido.
3. Mostre o(s) comando(s) exato(s) e explique seu efeito esperado.
4. Aguarde a confirmação explícita na conversa atual.

Sem essa confirmação, permaneça apenas em modo somente leitura e forneça orientação defensiva. Prefira um sandbox, VM descartável ou laboratório controlado.

Kit de Ferramentas de Engenharia de IA

Visão Geral

Uma coleção de 6 fluxos de trabalho estruturados em nível de especialista que transformam seu assistente de codificação de IA em um parceiro sênior de engenharia de IA. Cada habilidade codifica uma metodologia repetível — não apenas "pedir ajuda à IA", mas um framework de decisão passo a passo com pontuação quantitativa, checklists e árvores de decisão.

A principal diferença da assistência de IA ad hoc: pontuações e resultados qualitativos podem variar por avaliador, modelo e contexto; calibre rubricas e registre versões antes de fazer comparações. Você pode usar os sistemas de pontuação como bases de equipe e escrevê-los em pipelines de CI/CD.

Quando Usar Esta Habilidade

• Use ao avaliar ou otimizar prompts de sistemas LLM antes da implantação em produção
• Use ao projetar um pipeline RAG e precisar de decisões estruturadas de arquitetura (não apenas código boilerplate)
• Use ao planejar a alocação de orçamento de tokens entre zonas de janela de contexto
• Use ao executar auditorias de segurança pré-lançamento em agentes de IA
• Use ao construir frameworks de avaliação para aplicações LLM
• Use ao pensar na estratégia de produto antes de escrever código

Disponibilidade e Escopo

Esta árvore AAS inclui apenas esta visão geral; os seis pacotes de fluxo de trabalho nomeados, 65 casos de teste e modelos de CI não estão incluídos aqui. Não reivindique uma execução de 65 testes ou uma avaliação pontuada sem a rubrica, casos, harness e execução gravada fornecidos. A coleção upstream é uma fonte opcional revisada separadamente; sua instalação não valida um sistema de produção.

Como Funciona

Habilidade 1: Avaliador de Prompts

Um avaliador definido pode pontuar prompts em 8 dimensões (Clareza, Especificidade, Completude, Concisão, Estrutura, Fundamentação, Segurança, Robustez) em uma escala de 1 a 10 com agregação ponderada para uma pontuação de 0 a 100. Identifica as 3 dimensões mais fracas, gera reescritas direcionadas e reavalia. Suporta modos de prompt único, comparação A/B e avaliação em lote.

Habilidade 2: Planejador de Orçamento de Contexto

Analisa a distribuição de tokens em 5 zonas de contexto (Sistema, Poucos exemplos, Entrada do usuário, Recuperação, Saída) e produz um plano de alocação otimizado. Inclui uma árvore de decisão de estratégia de compressão para cada zona. Constatação comum: zona de saída espremida para menos de 6% — esta habilidade detecta isso antes que o truncamento ocorra.

Habilidade 3: Arquiteto de Pipeline RAG

Percorre uma árvore de decisão completa de arquitetura: formato do documento → estratégia de análise → abordagem de chunking (fixo/semântico/recursivo) → seleção do modelo de embedding → método de recuperação (vetor/palavra-chave/híbrido) → métricas de avaliação (Fidelidade, Relevância, Precisão do Contexto). Abrange os padrões Naive RAG, Advanced RAG e Modular RAG.

Habilidade 4: Guarda de Segurança de Agente

Executa uma auditoria de red-teaming de 65 pontos em 5 categorias de ataque: injeção direta de prompt, injeção indireta de prompt (via documentos RAG), extração de informações (vazamento de prompt do sistema / chave de API), abuso de ferramenta (injeção de SQL, travessia de diretório, injeção de comando) e sequestro de objetivo. A IA constrói prompts de teste adversariais para fins de avaliação, pede confirmação ao usuário antes de cada fase de teste, julga aprovação/reprovação e gera recomendações de correção. Todos os testes são contidos no contexto de avaliação e não interagem com sistemas externos. Recomenda-se executar auditorias em um ambiente isolado (Docker/VM).

Habilidade 5: Construtor de Harness de Avaliação

Projeta sistemas de métricas de avaliação para aplicações LLM. Inclui o framework de pontuação LLM-as-Judge com estratégias de mitigação de viés (viés de posição, viés de verbosidade, viés de auto-aprimoramento). Gera modelos de pipeline de avaliação prontos para CI/CD.

Habilidade 6: Coach de Senso de Produto

…