A elaboração de itens de prova vem ganhando destaque nos últimos anos no Brasil.
Provas como o Enem, Saresp, Prova Brasil, precisam de legitimidade pois seus resultados possibilitam uma visão do nível de aprendizagem do aluno e permitem um aprimoramento das ações voltadas ao processo educativo.
E então? Já preparou itens de prova? Gostaria de algumas dicas?
Leia a entrevista feita pela GAE com o professor doutor Mauro Luiz Rabelo (Universidade de Brasília) e saiba um pouco mais sobre o tema.
Entrevista professor Mauro
GAE – Professor
Mauro, fale um pouco sobre sua formação e experiência profissional.
Sou professor da
Universidade de Brasília desde 1981. Me especializei em Matemática (graduação,
mestrado e doutorado), e, a partir de 1994, me envolvi na área de Avaliação
Educacional. Iniciei faGzendo parte da equipe acadêmica da Universidade,
responsável por organizar o vestibular e os concursos públicos, depois integrei
a comissão que criou o Programa de Avaliação Seriada (PAS) e, em seguida,
comecei a atuar nos exames nacionais de avaliação. Já atuei como coordenador de
processos de elaboração e análise de itens para o SAEB, a Prova Brasil, o ENEM,
o ENCCEJA e o ENADE. Também integrei a equipe de pareceristas e a coordenação
adjunta do Programa Nacional do Livro Didático (PNLD).
GAE – As avaliações
praticadas hoje, principalmente as de larga escala, solicitam a elaboração de
bons itens. Como o senhor vê a formação de bons elaboradores de itens?
Minha experiência de
mais de 18 anos com processos de avaliação de larga escala me fez perceber o
quão é importante o processo de formação de elaboradores e revisores de itens.
Há especificidades que precisam ser observadas quando são elaborados os itens e
que não são de conhecimento dos professores, e que acabam passando imperceptíveis
na prática docente. São sutilezas que influenciam diretamente no resultado das
avaliações, principalmente quando os testes são compostos por itens de múltipla
escolha.
GAE – Em sua opinião,
qual deve ser o perfil de um bom elaborador de itens?
Um bom elaborador de
item precisa, antes de tudo, dominar bem o conhecimento de sua área de atuação,
mas precisa também ter visão integradora do conhecimento. Isso porque, hoje,
trabalha-se muito com provas contextualizadas, que acabam abordando conteúdos de
várias áreas do conhecimento. Criatividade é uma característica de perfil que
ajuda bastante, já que os itens precisam ser inéditos. É imprescindível,
também, que o elaborador domine a norma culta da língua portuguesa, já que a
clareza e precisão da linguagem são qualidades fundamentais em um item de
avaliação.
GAE – Quais as fases
para a elaboração de itens e a construção de provas?
1 O processo de elaboração e aplicação de itens para avaliação de larga
escala é bem complexo. De forma bem sintética, poderíamos resumi-lo nas
seguintes etapas:
·
Elaboração das matrizes de referência
·
Construção do banco de itens
· Traçar perfil dos especialistas;
· Selecionar especialistas;
· Capacitar equipes: elaboradores e revisores;
· Elaborar os itens;
· Revisar os itens: revisões de forma/estrutura, técnico-pedagógica,
linguística, de respeito às normas técnicas, de sensibilidade, final (estética,
integridade, balanceamento de dificuldade blocos e de gabarito);
·
Pré-testagem
Montagem de cadernos;
Análises psicométricas e pedagógicas.
·
Montagem dos testes – escolhas de itens
·
Aplicação dos testes
·
Interpretação dos resultados
Análises psicométrica e pedagógica;
Obtenção das escalas numéricas;
Interpretação dos níveis das escalas
·
Elaboração de relatórios e feedbacks
GAE – Explique-nos
como deve ser a estrutura de um item.
O item de múltipla escolha típico divide-se em três partes:
texto-base, enunciado/comando e opções/alternativas. Para o elaborador, o item
contempla, ainda, uma parte essencial referente à justificativa das respostas.
Em um texto, o significado de uma parte não costuma ser autônomo,
mas depende das outras com que se relaciona. O seu significado global não é
simplesmente uma soma do que representa cada parte, mas uma combinação geradora
de sentido. Cada uma deve manter relação com as demais, inter-relacionando-se e
formando um todo organizado. Desse modo, o texto deve apresentar coerência
entre as partes, não evidenciando contradições. Assim como qualquer texto,
apesar de dividido em três partes, o item de múltipla escolha deve ser
estruturado de modo a se configurar como uma unidade de proposição e que
contemple as orientações da matriz de referência. Para tanto, devem ser
observadas a coerência e a coesão entre suas partes, apresentando uma
articulação entre elas, explicitando uma única situação-problema e uma
abordagem homogênea do conteúdo selecionado.
Nas justificativas das respostas incorretas, chamadas de
distratores, cada opção deve ser cuidadosamente explicada do ponto de vista dos
possíveis raciocínios que levariam um aluno de baixo desempenho a escolher tal
resposta como correta. Isso vai garantir que a opção seja elaborada segundo um
critério fundamental no processo de construção de itens de múltipla escolha: o
“critério de plausibilidade” das respostas. Justificativas tautológicas não são
pertinentes, pois nada informam a respeito do que o elaborador pensou ao
conceber as opções como certas ou erradas.
GAE – Por que você acredita ser importante aprimorar o processo de
elaboração de itens?
Ao aprimorar o processo de
elaboração de itens, estaremos contribuindo para garantir a validade de nossos
instrumentos de avaliação. Assim, geraremos resultados confiáveis que, de fato,
retratam aquilo que estabelecemos como propósito da avaliação. Hoje, vários
indicadores de qualidade da educação são produzidos a partir dos resultados de
desempenhos dos estudantes nas provas aplicadas, seja na educação básica seja
na superior. Portanto, se os itens dos testes são feitos respeitando-se os
princípios que norteiam o processo de elaboração, isso dará mais confiabilidade
aos resultados produzidos.
