Avaliação de Qualidade
No Planejamento, serão adicionadas todas as informações básicas para o projeto.
Questões de Qualidade
As Questões de Qualidade fazem parte da etapa em que você avalia o quão confiáveis e completos são os estudos que farão parte da sua Revisão Sistemática da Literatura (RSL). Elas ajudam a identificar se cada publicação realmente apresenta informações sólidas para responder às suas Questões de Pesquisa.
Mesmo que um estudo atenda aos critérios de inclusão, ele ainda pode ter limitações — e a avaliação de qualidade permite medir o quanto essas limitações afetam sua utilidade na revisão.
Por que a avaliação de qualidade é importante?
Ajuda a identificar estudos mais robustos e confiáveis.
Reduz o risco de conclusões baseadas em pesquisas fracas ou incompletas.
Permite dar mais peso aos estudos bem conduzidos.
Aumenta a transparência e a credibilidade do processo da revisão.
Facilita análises posteriores e recomendações mais consistentes.
Como preencher os campos:
ID: É o identificador único da questão de qualidade. O formato mais comum é usar códigos como QA01, QA02, etc., facilitando a organização durante a avaliação dos estudos.
Peso: Indica o quanto essa pergunta influencia na pontuação final do estudo.
Pesos maiores = maior importância na avaliação.
Pesos menores = influência reduzida.
Use pesos de forma coerente: perguntas mais críticas devem ter peso maior.
Descrição: Escreva a pergunta de qualidade que será feita ao analisar cada estudo. Deve ser clara, objetiva e focada em avaliar a confiabilidade ou completude da publicação.
Dicas importantes:
Evite perguntas vagas — seja direto e específico.
Cadastre uma pergunta por vez.
Use pesos consistentes com o que realmente importa na sua revisão.
Reveja as questões com o orientador ou equipe para garantir alinhamento.
Exemplo:
ID: QA01
Peso: 2
Descrição: O estudo apresenta de forma clara o método utilizado para condução da revisão?
Essas perguntas serão utilizadas posteriormente, na etapa de Avaliação de Qualidade, onde cada estudo receberá pontuações de acordo com as respostas às questões cadastradas.
Pontuação de Qualidade
A etapa de Pontuação de Qualidade permite definir como cada questão de qualidade será avaliada. Aqui você cria as regras de pontuação, que funcionam como as possíveis respostas para cada questão.
Cada regra possui:
Uma questão associada (selecionada no campo "Questão");
Uma regra de resposta (ex.: Sim, Não, Parcialmente);
Um valor percentual (0% a 100%) representando a pontuação daquela resposta;
Uma descrição explicando claramente quando essa regra deve ser usada.
Isso significa que você deve cadastrar uma regra por vez para cada questão. Ao final, cada questão terá seu conjunto de respostas possíveis e respectivas pontuações.
Como preencher os campos:
Questão: Selecione qual questão de qualidade receberá esta regra de pontuação (ex.: QA01, QA02...). Cada regra sempre pertence a uma única questão.
Regra de Pontuação: Nome curto da resposta. Exemplos comuns:
Sim
Parcial
Não
Alta Evidência
Média Evidência
Baixa Evidência
Pontuação: Escolha um valor entre 0% e 100% usando o slider. Este valor será aplicado quando o avaliador escolher essa resposta.
Descrição: Explique, em detalhes, quando essa regra deve ser aplicada. Exemplo: "O estudo apresenta de forma completa a ferramenta analisada, com metodologia clara e validação experimental."
A descrição é muito importante: ela garante que todos os avaliadores apliquem as regras do mesmo modo.
Exemplo completo
Suponha que a questão de qualidade QA01 seja:
"O estudo apresenta a implementação de uma ferramenta para revisão sistemática da literatura?"
As regras de pontuação poderiam ser:
QA01
Sim
100%
O estudo apresenta claramente a implementação completa da ferramenta, incluindo metodologia e validação.
QA01
Parcial*
50%
O estudo apresenta a ferramenta, mas não descreve todos os detalhes de implementação ou validação.
QA01
Não
0%
O estudo não apresenta a implementação de uma ferramenta.
Repita este processo para cada questão de qualidade cadastrada. Ao final, você terá uma matriz completa de pontuação para avaliar todos os estudos.
Intervalos de Pontuação Geral
Os intervalos de pontuação geral são usados para classificar a qualidade final de um estudo após a avaliação das questões de qualidade. Eles definem faixas de pontuação (por exemplo: “Muito Pouco”, “Pouco”, “Bom”, “Muito Bom”) e ajudam a identificar rapidamente o nível em que cada estudo se encontra.
A geração dos intervalos é automática. O usuário apenas informa quantos intervalos deseja ter em sua revisão, e a Thoth cria esses intervalos com base na soma total dos pesos das questões de qualidade. Essa soma representa o máximo possível de pontuação que um estudo pode alcançar.
Como preencher os campos:
No campo "Gerar intervalos", digite a quantidade de intervalos que deseja (ex.: 4, 5, 6).
Clique em "Gerar intervalos". O sistema criará automaticamente os intervalos com valores mínimos, máximos e labels padrão.
Os campos Mín e Label podem ser editados pelo usuário.
Os campos Máx dos intervalos intermediários e todos os campos travados são definidos automaticamente pela Thoth e não podem ser alterados.
O valor Máx do último intervalo é sempre igual à soma total dos pesos das questões cadastradas — esse valor é obrigatório e não pode ser maior nem menor.
Regras importantes:
Se você alterar questões de qualidade (incluindo pesos), verifique novamente os intervalos: a soma dos pesos pode ter mudado.
Se desejar reduzir o número de intervalos, isso só será permitido caso nenhum estudo tenha sido avaliado ainda.
Se desejar apenas recalcular os intervalos com base na nova soma dos pesos, basta gerar novamente o mesmo número de intervalos já existentes.
Se quiser acrescentar novos intervalos, informe um número maior (por exemplo, de 4 para 5). O sistema criará apenas os intervalos adicionais.
Exemplo:
0,01
1,25
Muito Pouco
1,26
2,5
Pouco
2,51
3,75
Bom
3,76
5
Muito Bom
Pontuação Mínima Geral para Aprovação
Após o cadastro das questões de qualidade, a soma dos pesos de todas as questões registradas anteriormente é calculada automaticamente pela Thoth.
Essa soma representa o limite máximo de pontuação que um estudo pode alcançar durante a avaliação de qualidade. Por isso, o intervalo máximo dos intervalos de pontuação geral deve sempre corresponder ao valor da soma total dos pesos do projeto. Essa correspondência é essencial para garantir que os cálculos de pontuação e as classificações de qualidade funcionem corretamente durante a etapa de condução da revisão.
Pontuação Mínima Geral para Aprovação: Este item define o intervalo de pontuação mínima geral que deve ser considerado como o critério mínimo para aceitar estudos na revisão.
Como isso funciona na prática? Durante a etapa de condução da avaliação de qualidade, cada estudo analisado receberá uma pontuação total, calculada com base nas regras e pesos definidos anteriormente. A função dos intervalos de pontuação geral é classificar esse estudo dentro de um nível ou categoria — por exemplo, “Muito Baixa”, “Baixa”, “Moderada” ou “Alta”.
Após identificar em qual intervalo o estudo se enquadra, ele será comparado com o intervalo mínimo geral configurado. Somente estudos cuja pontuação esteja igual ou acima do intervalo mínimo selecionado serão aceitos e poderão avançar para a próxima etapa da revisão.
Exemplo simples: Se o intervalo mínimo configurado for Moderado (2.6 – 3.75) e o estudo avaliado obtiver pontuação equivalente ao intervalo Pouco (1.26 – 2.5), este estudo será rejeitado automaticamente.
Atenção — Rejeição por questão individual: Além do intervalo geral, cada questão de qualidade também possui um valor mínimo individual definido pelo pesquisador. Isso significa que mesmo que o estudo alcance uma pontuação total superior ao mínimo geral, ele ainda pode ser rejeitado caso não atenda ao mínimo exigido em qualquer uma das questões específicas.
Exemplo adicional: Se a questão QA02 exige um mínimo de 50%, mas o estudo obteve apenas 0% nessa questão, ele poderá ser rejeitado, mesmo que sua pontuação total esteja dentro de um intervalo aprovado. Isso garante que todas as questões consideradas essenciais sejam avaliadas adequadamente.
Observação: Para configurar corretamente esta etapa, primeiro é necessário:
Cadastrar todas as questões de qualidade;
Definir regras e pontuações para cada questão;
Gerar os intervalos de pontuação geral;
Salvar os intervalos no projeto da revisão.
Certifique-se também de que o valor máximo do último intervalo esteja sempre alinhado à soma dos pesos das questões.
Last updated
Was this helpful?