O Modelo Multifacetas de Rasch na construção de subescalas

Abstract

A avaliação em larga escala é um importante instrumento que possibilita mensurar características dos diversos atores envolvidos no processo educacional. E seus resultados podem ajudar na criação de políticas públicas educacionais para a melhoria da qualidade educacional. Além disso, são muitos os fatores que podem causar variabilidade nas pontuações atribuídas aos examinandos, podendo comprometer a justiça da avaliação. O Modelo Multifacetas de Rasch (MFRM) se destaca por permitir a inclusão no modelo de variáveis que podem ser geradoras de viés na avaliação, as chamadas facetas, permitindo que a análise dos efeitos causados por cada elemento da avaliação seja feita de forma individual. Na área educacional, as facetas normalmente consistem em variações de examinandos, tarefas/itens (dificuldade), critérios, escalas de pontuação (entendimento e utilização) e avaliadores (severidade, tendências a julgamentos sistemáticos e características pessoais). E nesse cenário são muitos os fatores que podem causar variabilidade nas pontuações atribuídas, podendo comprometer a justiça da avaliação. O objetivo deste estudo é analisar os efeitos de um caderno de prova que na avaliação considera uma grande área de concentração, agregando diversas disciplinas - são criadas as subescalas para contemplar as disciplinas agrupadas nos blocos - e como esses efeitos podem influenciar a mensuração do desempenho do examinando nos testes, como podem auxiliar na análise pedagógica fornecida aos educadores. Desta forma, com a aplicação do Modelo Multifacetas de Rasch com três facetas (habilidade do examinando, dificuldade do item e subescalas) em um bloco de questões de uma avaliação educacional em larga escala é possível estimar os efeitos das facetas de forma direta e individual. Neste trabalho foi feita a aplicação da metodologia no bloco de Ciências da natureza e suas tecnologias do ENEM 2016, nesse caderno estão contempladas as disciplinas de Física, Química e Biologia. Mesmo o caderno contendo três disciplinas distintas ele é unidimensional, o construto medido é único, garantido pelas análises de dimensionalidade. A contribuição do MFRM está relacionada à possibilidade de aplicação prática de metodologia para análise e estimação dos principais efeitos da aplicação desse tipo de prova, determinando o quanto esses traços influenciam o resultado do desempenho dos examinandos, podendo também subsidiar outras áreas da avaliação, como a análise pedagógica que serve de insumo para os educadores na melhoria da qualidade do processo de ensino-aprendizagem. A análise da amostra de respostas foi realizada no software FACETS com a aplicação do modelo com três facetas. As principais estatísticas, MQ-Infit e MQ-Outfit, apresentaram resultados muito satisfatórios para todas as facetas estudadas. Tais resultados demonstram que um bom ajuste do modelo, desta forma os resultados se mostraram favoráveis para a medição. Os resultados da aplicação do modelo têm qualidade, apontando ser favorável para utilização destes conjuntamente com análises pedagógicas.