CONSTRUÇÃO E VALIDAÇÃO DE UM INSTRUMENTO DE AVALIAÇÃO DE CURSOS NA MODALIDADE A DISTÂNCIA

Ano: 2023 | Volume: 27 | Número: 5

Autores: Fabiana Silva Okagawa Isabel Cristina Kowal Olm Cunha

Palavras-chave: Educação a Distância, Educação Superior, Avaliação Educacional, Gestão em Saúde, Distance Education, Higher Education, Educational Evaluation, Health Management, Educación a Distancia, Educación Superior, Evaluación Educativa, Gestión en Salud

Resumo Português:

Objetivos: construir, validar e aplicar um instrumento de avaliação de cursos de nível superior ofertados na modalidade a distância. Método: estudo metodológico. Para a elaboração do instrumento realizou-se revisão de literatura. A validação do pré-teste se deu pela triangulação de especialistas e a do conteúdo pelo Método Delphi. Para a análise da confiabilidade adotou-se a análise fatorial confirmatória e o coeficiente de Correlação de Spearman a partir da aplicação em dois cursos a distância. Resultados: a partir de onze referenciais (nacionais e internacionais) foram estratificados 70 critérios e agrupados em seis categorias que foram modificados na triangulação. Dois ciclos compuseram a Técnica Delphi com 17 especialistas inicialmente e alfa de Cronbach de 0,80 na segunda rodada. Na análise fatorial confirmatória, realizada com 221 participantes, inicialmente, não gerou índices satisfatórios, resultando na exclusão de questões. O novo modelo ajustado, produziu índices próximos aos ideais: CFI = 0,806; TLI = 0,770 e RMSEA = 0,088 com associação positiva entre as variáveis, e melhor média (p<5%) quanto à correlação entre os aspectos práticos e a indicação do curso pelos discentes. Conclusão: o estudo produziu um instrumento validado e com a confiabilidade aferida que pode ser aplicado em cursos com diferentes desenhos pedagógicos e não se limita a uma área específica, uma relevante contribuição para a educação superior.

Resumo Inglês:

Objectives: To construct, validate and apply an instrument of evaluation of higher education courses offered in distance learning modality. Method: Methodologi- cal study. For the elaboration of the instrument, a literature review was carried out. The pre-test was validated by expert triangulation and the content was validated by the Delphi Method. For the reliability analysis we adopted the confirmatory factor analysis and Spe- arman's Correlation coefficient from the application in two distance learning courses. Re- sults: from eleven references (national and international) 70 criteria were stratified and grouped into six categories that were modified in the triangulation. Two rounds compri- sed the Delphi Technique with 17 experts initially and Cronbach's alpha of 0.80 in the second round. The confirmatory factor analysis, performed with 221 participants, did not initially generate satisfactory indexes, resulting in the exclusion of questions. The new adjusted model produced close to ideal indexes: CFI = 0.806; TLI = 0.770 and RMSEA = 0.088 with a positive association between variables, and a better average (p<5%) regarding the correlation between practical aspects and students' recommendation of the course. Conclusion: the study produced a validated instrument with gauged reliability that can be applied in courses with different pedagogical designs and is not limited to a spe- cific area, a relevant contribution to higher education.

Resumo Espanhol:

Objetivos: Construir, validar y aplicar un instrumento de evaluación de cur- sos de educación superior ofrecidos en la modalidad a distancia. Método: Estudio meto- dológico. Para la elaboración del instrumento se realizó una revisión bibliográfica. El pre- test fue validado por triangulación de expertos y el contenido fue validado por el Método Delphi. Para el análisis de fiabilidad adoptamos el análisis factorial confirmatorio y el coeficiente de correlación de Spearman a partir de la aplicación en dos cursos a distancia. Resultados: a partir de once referencias (nacionales e internacionales) se estratificaron 70 criterios que se agruparon en seis categorías que se modificaron en la triangulación. Se realizaron dos rondas con la técnica Delphi con 17 expertos inicialmente y un alfa de Cronbach de 0,80 en la segunda ronda. El análisis factorial confirmatorio, realizado con 221 par-ticipantes, no generó inicialmente índices satisfactorios, lo que dio lugar a la ex- clusión de preguntas. El nuevo modelo ajustado produjo índices cercanos al ideal: CFI = 0,806; TLI = 0,770 y RMSEA = 0,088 con una asociación positiva entre las variables, y una media mejor (p<5%) en cuanto a la correlación entre los aspectos prácticos y la re- comendación del curso por parte de los alumnos. Conclusión: el estudio produjo un ins- trumento validado con confiabilidad medida, que puede ser aplicado en cursos con dife- rentes diseños pedagógicos y no se limita a un área específica, una contribución relevante para la educación superior.