Criador de Habilidades

Uma habilidade para criar novas habilidades e melhorá-las iterativamente.

Em um nível geral, o processo de criação de uma habilidade funciona assim:

• Decida o que você quer que a habilidade faça e aproximadamente como ela deve fazer isso
• Escreva um rascunho da habilidade
• Crie alguns prompts de teste e execute o claude-com-acesso-à-habilidade neles
• Ajude o usuário a avaliar os resultados tanto qualitativa quanto quantitativamente
  • Enquanto as execuções acontecem em segundo plano, rascunhe algumas avaliações quantitativas se não houver nenhuma (se houver algumas, você pode usá-las como estão ou modificá-las se sentir que algo precisa mudar nelas). Em seguida, explique-as ao usuário (ou se elas já existiam, explique as que já existiam)
  • Use o script eval-viewer/generate_review.py para mostrar ao usuário os resultados para que ele possa examiná-los, e também permita que ele veja as métricas quantitativas
• Reescreva a habilidade com base no feedback da avaliação dos resultados pelo usuário (e também se houver falhas gritantes que se tornem aparentes a partir dos benchmarks quantitativos)
• Repita até que você esteja satisfeito
• Expanda o conjunto de testes e tente novamente em maior escala

Seu trabalho ao usar esta habilidade é descobrir onde o usuário está neste processo e, em seguida, intervir e ajudá-lo a progredir por essas etapas. Por exemplo, talvez eles digam "Quero criar uma habilidade para X". Você pode ajudar a refinar o que eles querem dizer, escrever um rascunho, escrever os casos de teste, descobrir como eles querem avaliar, executar todos os prompts e repetir.

Por outro lado, talvez eles já tenham um rascunho da habilidade. Neste caso, você pode ir direto para a parte de avaliação/iteração do loop.

Claro, você deve sempre ser flexível e se o usuário disser "Não preciso executar um monte de avaliações, apenas vamos conversar", você pode fazer isso em vez disso.

Em seguida, após a habilidade estar pronta (mas novamente, a ordem é flexível), você também pode executar o otimizador de descrição da habilidade, para o qual temos um script separado, para otimizar o acionamento da habilidade.

Legal? Legal.

Comunicação com o usuário

O criador de habilidades pode ser usado por pessoas com uma ampla gama de familiaridade com jargões de programação. Se você ainda não ouviu falar (e como poderia, só muito recentemente começou), há uma tendência agora em que o poder do Claude está inspirando encanadores a abrir seus terminais, pais e avós a pesquisar no Google "como instalar npm". Por outro lado, a maioria dos usuários é provavelmente bastante alfabetizada em computação.

Portanto, preste atenção aos sinais contextuais para entender como formular sua comunicação! No caso padrão, apenas para lhe dar uma ideia:

• "avaliação" e "benchmark" são limítrofes, mas OK
• para "JSON" e "asserção" você quer ver sinais sérios do usuário de que eles sabem o que essas coisas são antes de usá-las sem explicá-las

Está tudo bem explicar brevemente os termos se você estiver em dúvida, e sinta-se à vontade para esclarecer os termos com uma definição curta se tiver certeza de que o usuário entenderá.

Criando uma habilidade

Capturar Intenção

Comece entendendo a intenção do usuário. A conversa atual pode já conter um fluxo de trabalho que o usuário deseja capturar (por exemplo, eles dizem "transforme isso em uma habilidade"). Se for o caso, extraia as respostas do histórico da conversa primeiro — as ferramentas usadas, a sequência de etapas, as correções que o usuário fez, os formatos de entrada/saída observados. O usuário pode precisar preencher as lacunas e deve confirmar antes de prosseguir para a próxima etapa.

1. O que esta habilidade deve permitir que o Claude faça?
2. Quando esta habilidade deve ser acionada? (quais frases/contextos do usuário)
3. Qual é o formato de saída esperado?
4. Devemos configurar casos de teste para verificar se a habilidade funciona? Habilidades com saídas objetivamente verificáveis (transformações de arquivo, extração de dados, geração de código, etapas de fluxo de trabalho fixas) se beneficiam de casos de teste. Habilidades com saídas subjetivas (estilo de escrita, arte) geralmente não precisam deles. Sugira o padrão apropriado com base no tipo de habilidade, mas deixe o usuário decidir.

Entrevista e Pesquisa

Faça perguntas proativamente sobre casos extremos, formatos de entrada/saída, arquivos de exemplo, critérios de sucesso e dependências. Espere para escrever os prompts de teste até que essa parte esteja resolvida.

Verifique os MCPs disponíveis — se forem úteis para pesquisa (pesquisar documentação, encontrar habilidades semelhantes, procurar melhores práticas), pesquise em paralelo por meio de subagentes, se disponíveis, caso contrário, em linha. Venha preparado com contexto para reduzir o fardo sobre o usuário.

Escrever o SKILL.md

Com base na entrevista com o usuário, preencha estes componentes:

• name: Identificador da habilidade

…