healthcare-eval-harness
Avalia a segurança do paciente em implantações de aplicações de saúde, bloqueando falhas de segurança.
O que ela faz
Este sistema verifica se atualizações em aplicativos de saúde são seguras para os pacientes. Ele executa testes automáticos para garantir que as decisões médicas do sistema, a proteção de dados sensíveis e o funcionamento geral estejam corretos antes de permitir a implantação.
Quando usar
- ✓Antes de lançar uma nova versão de um prontuário eletrônico.
- ✓Após fazer mudanças na lógica de sugestões médicas do sistema.
- ✓Ao configurar o processo automático de testes e implantação.
Exemplo do que pedir para a IA
“Verifique se a atualização do nosso sistema de agendamento é segura para os pacientes.”
Quer saber mais? Abra as seções abaixo.
Como usar
O jeito mais fácil: copie a mensagem abaixo e cole no Claude, ChatGPT, Cursor ou outra IA. Ela lê a skill e segue as instruções.
Link da skill
Mensagem pronta para colar
Como funciona
O sistema roda vários testes importantes. Se algum teste crítico falhar completamente, a atualização é bloqueada. Testes menos críticos precisam ter uma taxa de aprovação alta para continuar.
Instalação
Jeito mais fácil: copie o link da skill e cole no Claude, ChatGPT ou Cursor pedindo para seguir as instruções.
No terminal (Claude Code, Codex, Cursor), na pasta do projeto:
npx skills add affaan-m/ECC --skill healthcare-eval-harnessOu baixe só o arquivo:
curl -L https://raw.githubusercontent.com/affaan-m/ECC/main/skills/healthcare-eval-harness/SKILL.md -o SKILL.mdConteúdo técnico (SKILL.md)
Tradução do texto original do autor no GitHub. Os comandos e códigos estão como no original.
Healthcare Eval Harness — Verificação de Segurança do Paciente
Sistema automatizado de verificação para implantações de aplicações de saúde. Uma única falha CRÍTICA bloqueia a implantação. A segurança do paciente é inegociável.
Nota: Os exemplos usam Jest como executor de testes de referência. Adapte os comandos para o seu framework (Vitest, pytest, PHPUnit, etc.) — as categorias de teste e os limites de aprovação são independentes do framework.
Quando Usar
- Antes de qualquer implantação de aplicações EMR/EHR
- Após modificar a lógica do CDSS (interações medicamentosas, validação de dose, pontuação)
- Após alterar esquemas de banco de dados que tocam dados do paciente
- Após modificar a autenticação ou controle de acesso
- Durante a configuração do pipeline CI/CD para aplicativos de saúde
- Após resolver conflitos de merge em módulos clínicos
Como Funciona
O eval harness executa cinco categorias de teste em ordem. As três primeiras (Precisão do CDSS, Exposição de PHI, Integridade de Dados) são portões CRÍTICOS que exigem 100% de taxa de aprovação — uma única falha bloqueia a implantação. As duas restantes (Fluxo de Trabalho Clínico, Integração) são portões ALTOS que exigem 95%+ de taxa de aprovação.
Cada categoria mapeia para um padrão de caminho de teste Jest. O pipeline de CI executa os portões CRÍTICOS com --bail (parar na primeira falha) e impõe limites de cobertura com --coverage --coverageThreshold.
Categorias de Avaliação
1. Precisão do CDSS (CRÍTICO — 100% exigido)
Testa toda a lógica de suporte à decisão clínica: pares de interações medicamentosas (em ambas as direções), regras de validação de dose, pontuação clínica vs. especificações publicadas, sem falsos negativos, sem falhas silenciosas.
npx jest --testPathPattern='tests/cdss' --bail --ci --coverage
2. Exposição de PHI (CRÍTICO — 100% exigido)
Testa vazamentos de informações protegidas de saúde: respostas de erro da API, saída do console, parâmetros de URL, armazenamento do navegador, isolamento entre instalações, acesso não autenticado, ausência de chave de função de serviço.
npx jest --testPathPattern='tests/security/phi' --bail --ci
3. Integridade de Dados (CRÍTICO — 100% exigido)
Testa a segurança dos dados clínicos: encontros bloqueados, entradas de trilha de auditoria, proteção contra exclusão em cascata, tratamento de edição concorrente, sem registros órfãos.
npx jest --testPathPattern='tests/data-integrity' --bail --ci
4. Fluxo de Trabalho Clínico (ALTO — 95%+ exigido)
Testa fluxos de ponta a ponta: ciclo de vida do encontro, renderização de modelo, conjuntos de medicamentos, pesquisa de medicamentos/diagnósticos, PDF de prescrição, alertas de bandeira vermelha.
tmp_json=$(mktemp)
npx jest --testPathPattern='tests/clinical' --ci --json --outputFile="$tmp_json" || true
total=$(jq '.numTotalTests // 0' "$tmp_json")
passed=$(jq '.numPassedTests // 0' "$tmp_json")
if [ "$total" -eq 0 ]; then
echo "No clinical tests found" >&2
exit 1
fi
rate=$(echo "scale=2; $passed * 100 / $total" | bc)
echo "Clinical pass rate: ${rate}% ($passed/$total)"
5. Conformidade de Integração (ALTO — 95%+ exigido)
Testa sistemas externos: análise de mensagens HL7 (v2.x), validação FHIR, mapeamento de resultados de laboratório, tratamento de mensagens malformadas.
tmp_json=$(mktemp)
npx jest --testPathPattern='tests/integration' --ci --json --outputFile="$tmp_json" || true
total=$(jq '.numTotalTests // 0' "$tmp_json")
passed=$(jq '.numPassedTests // 0' "$tmp_json")
if [ "$total" -eq 0 ]; then
echo "No integration tests found" >&2
exit 1
fi
rate=$(echo "scale=2; $passed * 100 / $total" | bc)
echo "Integration pass rate: ${rate}% ($passed/$total)"
Matriz de Aprovação/Reprovação
| Categoria | Limite | Em Caso de Falha |
|---|---|---|
| Precisão do CDSS | 100% | BLOQUEAR implantação |
| Exposição de PHI | 100% | BLOQUEAR implantação |
| Integridade de Dados | 100% | BLOQUEAR implantação |
| Fluxo de Trabalho Clínico | 95%+ | AVISAR, permitir com revisão |
| Integração | 95%+ | AVISAR, permitir com revisão |
Integração CI/CD
name: Healthcare Safety Gate
on: [push, pull_request]
jobs:
safety-gate:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- uses: actions/setup-node@v4
with:
node-version: '20'
- run: npm ci
# Portões CRÍTICOS — 100% exigido, parar na primeira falha
- name: CDSS Accuracy
run: npx jest --testPathPattern='tests/cdss' --bail --ci --coverage --coverageThreshold='{"global":{"branches":80,"functions":80,"lines":80}}'
- name: PHI Exposure Check
run: npx jest --testPathPattern='tests/security/phi' --bail --ci
- name: Data Integrity
run: npx jest --testPathPattern='tests/data-integrity' --bail --ci
# Portões ALTOS — 95%+ exigido, verificação de limite personalizada
…
Perguntas frequentes
O que são testes 'CRITICAL' e 'HIGH'?
Testes 'CRITICAL' precisam de 100% de acerto e bloqueiam a atualização se falharem. Testes 'HIGH' precisam de pelo menos 95% de acerto e podem permitir a atualização com uma revisão adicional.
O que o teste de 'CDSS Accuracy' verifica?
Verifica se as sugestões médicas do sistema (como interações medicamentosas ou dosagens corretas) estão funcionando como esperado e sem erros.
O que o teste de 'PHI Exposure' verifica?
Verifica se informações de saúde protegidas (PHI) não estão sendo vazadas ou expostas indevidamente em mensagens de erro, URLs ou outros locais.
Detalhes
Descrição original do autor
Patient safety evaluation harness for healthcare application deployments. Automated test suites for CDSS accuracy, PHI exposure, clinical workflow integrity, and integration compliance. Blocks deployments on safety failures. Use when a healthcare deployment must be gated on patient-safety tests for CDSS accuracy, PHI exposure, and workflow integrity.
repo: affaan-m/ECC
Popularidade
- Estrelas no GitHub
- 280 mil
- Posição no ranking
- #202
- Licença
- MIT
- Atualizada em
- 15/10/2026
Comentários
- …
Mais skills deste repositório
accessibility
Ajuda seu agente a criar interfaces que todos possam usar. Garante que sites e aplicativos funcionem bem para pessoas com deficiência, como cegos ou com mobilidade reduzida.
affaan-m/ECC
agent-architecture-audit
Faz seu agente verificar se tudo está funcionando corretamente. Ele encontra e conserta problemas em sistemas de IA, garantindo que funcionem como esperado.
affaan-m/ECC
agent-eval
Ajuda seu agente a comparar diferentes ferramentas de programação de IA. Ele mede qual é mais rápido, barato e confiável para realizar tarefas específicas.
affaan-m/ECC
agent-harness-construction
Faz seu agente entender melhor como realizar tarefas. Ele otimiza as ferramentas e instruções que o agente usa para aumentar suas chances de sucesso.
affaan-m/ECC
Skills parecidas
template-skill
Este é um modelo genérico para novas habilidades. Ele precisa de uma descrição específica para ser útil.
anthropics/skills
shipping-and-launch
Prepara seu código para ser lançado em produção com segurança. Ajuda a garantir que tudo esteja pronto, monitorado e com um plano de volta.
addyosmani/agent-skills
using-agent-skills
Faz seu agente descobrir e usar outras habilidades. É útil para decidir qual ferramenta ou fluxo de trabalho usar para uma tarefa específica.
addyosmani/agent-skills