Avaliação de Pesquisador(a)

Propósito

Fornecer feedback de desenvolvimento, rastreável por evidências, sobre um trabalho acadêmico: artigo, rascunho, protocolo, síntese de literatura ou ideia de pesquisa. Use o julgamento qualitativo primeiro. Pontuações opcionais apenas descrevem como a evidência submetida se alinha a uma rubrica delimitada pré-declarada.

Esta habilidade também audita se um processo de avaliação de baixo risco documenta seu construto, proveniência, qualidade do avaliador, incerteza, rastreabilidade, sensibilidade, justiça, acessibilidade, privacidade e governança humana.

Limite de segurança rígido

Nunca use esta habilidade para automatizar, recomendar, influenciar materialmente ou pontuar:

• contratação, promoção ou permanência;
• admissões;
• bolsas ou outros financiamentos;
• prêmios, honrarias ou reconhecimentos;
• disciplina, demissão ou sanções; ou
• qualquer outra decisão pessoal de alto impacto.

Nunca classifique pessoas. Nunca reduza uma pessoa a uma pontuação composta. Nunca infira habilidade, caráter, integridade, traços protegidos, desempenho futuro ou valor. Um humano nominal no ciclo não remove este limite.

Se solicitado para um uso proibido, pare. Ofereça comentários de desenvolvimento sobre um trabalho acadêmico ou uma auditoria apenas de processo que não processe candidaturas, compare pessoas, recomende um resultado ou aconselhe uma decisão.

Não emita julgamentos de prontidão para publicação, aceite/rejeite ou "primeira linha".

Leia references/responsible_assessment.md antes de qualquer uso organizacional.

Status do ScholarEval

O projeto ScholarEval referenciado é um framework experimental de avaliação de ideias de pesquisa fundamentado em literatura, não psicometria validada.

O registro primário verificado é Moussa et al., ScholarEval: Research Idea Evaluation Grounded in Literature, arXiv:2510.16234v2, revisado em 2026-02-28. Ele relata um framework de solidez/contribuição aumentado por recuperação, um conjunto de dados de 117 ideias em quatro disciplinas, experimentos de cobertura e um estudo de usuário.

Não generalize esses resultados para avaliação de pessoas, decisões consequentes, todas as disciplinas ou a rubrica desta habilidade. Nenhum status de publicação revisada por pares foi verificado durante a revisão datada. Veja references/source_ledger.md.

Política de métricas e prestígio

Não pontue nem infira qualidade de:

• Fator de Impacto de Periódico ou outras medidas de periódico;
• h-index, contagem de publicações ou contagem de citações;
• altmetrics ou atenção;
• prestígio de periódico, conferência, local, instituição, empregador ou geográfico;
• afiliação do autor, reputação, rede ou trajetória de carreira.

O validador de rubrica rejeita critérios comuns de medidas proxy.

Se um revisor qualificado mencionar um indicador descritivamente fora das ferramentas de pontuação, registre seu propósito exato, fonte, cobertura, efeitos de campo e tempo, incerteza, ausência, vieses, risco de manipulação e por que ele não mede diretamente a qualidade. Nunca esconda indicadores dentro de um composto opaco.

Limite de dados

Scripts empacotados aceitam apenas JSON/CSV estritamente local contendo IDs pseudônimos, avaliações delimitadas, status, incerteza e referências locais.

Não coloque candidaturas privadas brutas, CVs, cartas, identidades de revisores, detalhes de contato, atributos protegidos ou texto de documento fonte em entradas, saídas, logs, exemplos ou prompts. Mantenha o conteúdo fonte no sistema de registros autorizado e use referências locais opacas.

As classificações permitidas são:

• synthetic
• public_scholarly_work
• deidentified_low_stakes

Nenhum script busca na web, carrega arquivos de ambiente, lê credenciais, chama um modelo, executa texto fornecido, desserializa objetos executáveis ou inicia um processo.

Use Bash apenas para invocar os comandos locais documentados python3.

Fluxo de trabalho

1. Confirmar uso permitido e autorização

Registre:

• propósito de desenvolvimento;
• unidade de avaliação: scholarly_work;
• tipo de trabalho, estágio, disciplina, idioma e público;
• local da fonte autorizada e classificação dos dados;
• proprietário do comitê responsável;
• conflitos e impedimentos;
• processo de acessibilidade e acomodação;
• rota de apelação ou correção; e
• propósito dos dados, acesso, retenção e exclusão.

Pare em um contexto de decisão proibido ou dados privados desnecessários.

2. Definir o construto antes dos critérios

Declare:

• qual qualidade ou suporte está sendo examinado;
• construtos excluídos;
• interpretação pretendida;
• contextos onde a interpretação não se aplica;
• requisitos de evidência; e
• limitações conhecidas.

Comece com valores e contexto disciplinar, não com métricas disponíveis.

3. Adaptar e validar a rubrica

Comece com assets/rubric_template.json, então obtenha qualificado disciplinar,

…