Objective Tests and Their Discriminating Power in Business Courses: a Case Study

Ano: 2005 | Volume: 9 | Número: Suplemento

Autores: E. B. Cornachione Jr.

Palavras-chave: testes objetivos; avaliação; desempenho; análise discriminante; análise de itens.

Resumo Português:

Avaliar aprendizagem de alunos não pode ser considerada tarefa fácil. Este artigo objetiva investigar o desempenho geral de alunos e o poder discriminante de itens específicos de provas na área de negócios. O propósito deste artigo é o de contribuir com esta questão, ao analisá-la com abordagem científica, do ponto de vista de sistemas de informações contábeis: dois experimentos baseados em um curso de graduação sobre sistemas gerenciadores de banco de dados, envolvendo 66 e 62 alunos (experimentos E1 e E2, respectivamente). A análise discriminante gerou funções discriminantes com altas correlações canônicas (E1= 0,898 e E2= 0,789). Como resultado, um elevado número de casos foi corretamente classificado (E1= 98,5% e E2= 95,2%), baseando-se em um número relativamente pequeno de questões: 7 de um total de 22 questões em E1 (testes), e 3 de um total de 6 em E2 (respostas curtas). Assim, com base em poucas questões dos instrumentos analisados é possível discriminar corretamente o desempenho acadêmico, e esta é uma medida de qualidade dos instrumentos de avaliação observados. Com isso, especialmente na área de negócios, professores e instituições, juntos, são capazes de analisar e agir no sentido de aprimorar seus métodos de avaliação, para serem de mínima influência no instante da avaliação do desempenho dos alunos.

Resumo Inglês:

Evaluating students' learning experiences outcomes cannot be considered a simple task. This paper aims at investigating students' overall performance and the discriminating power of particular tests' items in the context of business courses. The purpose of this paper is to contribute with this issue while analyzing it, with scientific approach, from an accounting information systems standpoint: two experiments based on a database management system (DBMS) undergraduate course, involving 66 and 62 students (experiments E1 and E2, respectively). The discriminant analysis generated discriminant functions with high canonical correlations (E1= 0.898 and E2= 0.789). As a result, high percentages of original grouped cases were correctly classified (E1= 98.5% and E2= 95.2%) based on a relatively small number of items: 7 out of 22 items from E1 (multiple-choice), and 3 out of 6 from E2 (short-answer). So, with only a few items from the analyzed instruments it is possible to discriminate "good" or "bad" academic performance, and this is a measure of quality of the observed testing instruments. According to these findings, especially in business area, instructors and institutions, together, are able to analyze and act towards improving their assessment methods, to be of minimum influence while evaluating students' performance.