Avaliação Acadêmica

Use esta habilidade para avaliar trabalhos acadêmicos ou científicos com uma rubrica repetível.

Quando Usar

• Revisar um artigo de pesquisa, proposta, capítulo de tese ou revisão de literatura.
• Verificar se as afirmações são suportadas por evidências citadas.
• Avaliar metodologia, desenho do estudo, análise ou limitações.
• Comparar dois ou mais artigos em termos de qualidade ou relevância.
• Produzir feedback estruturado para revisão.

Escopo da Avaliação

Comece identificando o artefato:

• artigo de pesquisa empírica
• artigo teórico
• relatório técnico
• revisão sistemática ou narrativa de literatura
• proposta de pesquisa
• capítulo de tese ou dissertação
• resumo de conferência ou artigo curto

Em seguida, escolha o escopo:

• abrangente: todas as dimensões da rubrica
• direcionado: uma ou duas dimensões, como método ou citações
• comparativo: classificar múltiplos trabalhos contra a mesma rubrica

Rubrica

Pontue cada dimensão aplicável de 1 a 5:

• 5: excelente; claro, rigoroso e pronto para publicação
• 4: bom; pequenas melhorias necessárias
• 3: adequado; lacunas significativas, mas utilizável
• 2: fraco; revisão substancial necessária
• 1: ruim; grandes problemas de validade ou clareza

Use N/A para dimensões que não se aplicam.

1. Problema e Questão de Pesquisa

• O problema é claro e específico?
• A contribuição é significativa?
• O escopo e as suposições são explícitos?
• A questão corresponde à contribuição declarada?

2. Literatura e Contexto

• O trabalho anterior relevante é coberto?
• O trabalho sintetiza em vez de apenas listar fontes?
• As lacunas são identificadas com precisão?
• As fontes recentes e fundamentais estão equilibradas?

3. Metodologia

• O método responde à questão de pesquisa?
• As escolhas de design são justificadas?
• Variáveis, conjuntos de dados, participantes ou materiais são descritos claramente?
• Outro pesquisador poderia reproduzir o trabalho?
• Restrições éticas e práticas são reconhecidas?

4. Dados e Evidências

• As fontes de dados são credíveis e apropriadas?
• O tamanho da amostra ou a cobertura do corpus são adequados?
• As decisões de inclusão, exclusão e pré-processamento são documentadas?
• Dados ausentes e riscos de viés são discutidos?

5. Análise

• Os métodos estatísticos, qualitativos ou computacionais são apropriados?
• As linhas de base e os controles são justos?
• Verificações de incerteza, sensibilidade ou robustez são incluídas quando necessário?
• Explicações alternativas são consideradas?

6. Resultados e Interpretação

• Os resultados são apresentados claramente?
• As afirmações se mantêm dentro das evidências?
• Figuras, tabelas e métricas são compreensíveis?
• Resultados negativos ou nulos são tratados honestamente?

7. Limitações e Ameaças à Validade

• As limitações são específicas em vez de genéricas?
• Riscos de validade interna, externa, de construto e de conclusão são abordados?
• O artigo distingue especulação de resultados demonstrados?

8. Escrita e Estrutura

• O argumento é fácil de seguir?
• As seções são organizadas em torno da questão de pesquisa?
• Definições e notação são claras?
• O tom é preciso e acadêmico?

9. Citações

• Os artigos citados suportam as afirmações a eles associadas?
• Fontes primárias são usadas sempre que possível?
• Revisões são rotuladas como revisões?
• Preprints são rotulados como preprints?
• Metadados e links de citação estão corretos?

Processo de Revisão

1. Leia o resumo, introdução, figuras e conclusão para a contribuição declarada.
2. Leia métodos e resultados para a qualidade da evidência.
3. Verifique as afirmações mais fortes contra as fontes citadas.
4. Pontue cada dimensão aplicável.
5. Separe bloqueadores críticos de sugestões de revisão.
6. Termine com edições concretas para a próxima etapa.

Modelo de Saída

# Scholar Evaluation: <Artifact>

## Overall Assessment

- Overall score: <1-5 or N/A>
- Confidence: <high | medium | low>
- Summary: <3-5 sentences>

## Dimension Scores

| Dimension | Score | Evidence | Revision priority |
| --- | ---: | --- | --- |
| Problem and question |  |  |  |
| Literature and context |  |  |  |
| Methodology |  |  |  |
| Data and evidence |  |  |  |
| Analysis |  |  |  |
| Results and interpretation |  |  |  |
| Limitations |  |  |  |
| Writing and structure |  |  |  |
| Citations |  |  |  |

## Critical Issues

## Recommended Revisions

## Evidence Checks Needed

Armadilhas

• Não use a pontuação como substituto de feedback concreto.
• Não penalize um artigo por omitir uma dimensão fora de seu escopo.
• Não trate contagem de citações, local ou reputação do autor como prova de qualidade.

…