Evidências de validade de conteúdo da prova de psicologia do Enade
Estudos em Avaliação Educacional
Evidências de validade de conteúdo da prova de psicologia do Enade
Autor Correspondente: Girlene Ribeiro de Jesus | [email protected]
Palavras-chave: Validade, Exame Nacional de Desempenho dos Estudantes (Enade), Blueprint, Demanda Cognitiva
Resumos Cadastrados
Resumo Português:
O presente estudo tem como objetivo analisar evidências de validade com base no conteúdo da prova de psicologia aplicada no Exame Nacional de Desempenho dos Estudantes (Enade) de 2015. Foi utilizada a blueprint, ferramenta recomendada pela literatura internacional que embasa o planejamento dos testes. Houve divergência significativa entre as competências e habilidades apresentadas na matriz de referência e a demanda cognitiva solicitada na maior parte das questões objetivas. Há habilidades presentes na matriz que não foram contempladas na prova e outras foram contempladas com apenas um único item, o que compromete a confiabilidade da medida. As análises mostraram a necessidade do uso de técnicas que podem melhorar essa fonte primária de evidência.
Resumo Inglês:
This study aims to analyze evidence of validity based on the content of the psychology test applied in the Exame Nacional de Desempenho dos Estudantes (Enade) [National Exam of Student Proficiency] of 2015. We used Blueprint, a tool recommended in the international literature for test design. There were significant discrepancies between the skills and abilities presented in the test specifications, and in the cognitive demand demanded in almost all multiple-choice questions. Furthermore, there are skills and abilities presented in test specifications that were not in the test, and other skills and abilities that were represented by only one item, which compromise measurement reliability. We conclude that the evidence based on the content for this test shows the necessity to use tools to improve this primary source of evidence.
Resumo Espanhol:
El presente estudio tiene el propósito de analizar evidencias de validez en base al contenido de la prueba de psicología aplicada en el Exame Nacional de esempenho dos Estudantes (Enade) del 2015. Se utilizó la blueprint, herramienta recomendada por la literatura internacional que sirve como base para la planificación de las pruebas. Hubo divergencia significativa entre las competencias y habilidades presentadas en la matriz de referencia y la demanda cognitiva solicitada en la mayoría de las preguntas objetivas. Hay habilidades presentes en la matriz que no se tuvieron en cuenta en la prueba y otras fueron contempladas con tan solo un ítem, lo que compromete la confiabilidad de la medida. Los análisis mostraron la necesidad del uso de técnicas que pueden mejorar esa fuente primaria de evidencia.
