Este boletim sintetiza os pontos destacados pelo Professor Phillip Dawson (Centre for Research in Assessment and Digital Learning – CRADLE) Deakin University, Melbourne, Austrália, no Webinar sobre confiança na avaliação online e formas de prevenção da fraude, realizado no âmbito da 3ª edição das Jornadas Interinstitucionais de Desenvolvimento Pedagógico.

 

As 3 ideias, as 3 mensagens principais (abaixo sintetizam-se orientações para cada ideia):

  1. É necessário equilibrar o princípio da promoção e da valorização da integridade académica com os processos que garantem a segurança da avaliação e dos seus resultados;

  2. Nenhum design de avaliação é, por si próprio, suficiente para garantir a integridade da avaliação;

  3. É necessária a definição de uma política institucional sobre o que são os padrões aceitáveis de integridade.


Definição de e-cheating (fraude digital) [1] Engloba qualquer processo fraudulento que recorra a recursos ou tecnologias digitais. Inclui os processos designados de “contract cheating” que consistem no pagamento a terceiros para a realização de trabalhos académicos. É importante reconhecer que o e-cheating é aliciado em permanência na internet e nas redes sociais. A fraude digital pode ser uma forma de expressão de questões sociais de maior abrangência.


Orientações #1: O equilíbrio entre a  promoção da integridade académica e o recurso a processos que contribuam para garantir a segurança da avaliação [2]

Não existe uma solução única e simples para eliminar a fraude.  A internet permite o acesso fácil a um vasto conjunto de serviços e de aplicações para cometer fraude em todo o tipo de tarefas. A implementação de restrições severas ou o recurso a tecnologias de vigilância contribuem para a mitigação da fraude mas não a anulam por si próprias. A promoção de integridade (ex: campanhas, formação de docentes e de estudantes …) e a implementação de procedimentos de segurança (ex: vigilância remota) não são processos a considerar em alternativa, ambos são necessários.


Integridade Académica

Segurança da avaliação

Sugestões 

É um valor e uma característica de cada indivíduo, mais do que a forma como age.

É promovida em orientações e iniciativas institucionais.

São as medidas que se implementam para contrariar as tentativas de realização de fraude, dificultando-as; 

são em regra punitivas e baseadas em provas.

Ambicionar o equilíbrio; dificultar a fraude implica aplicar  medidas proactivas de prevenção da fraude e de garantia de segurança dos processos;

evitar a polarização do discurso em qualquer dos sentidos.


Recomendação adicionais no International Center for Academic Integrity (ICAI) [3], um Centro de referência dedicado ao desenvolvimento, a nível mundial, de uma cultura dos valores fundamentais da integridade académica.


Orientações #2 O design da avaliação é necessário mas não suficiente para prevenir a fraude [4, 5, 6,7, 8, 9]

O desenho da avaliação pode ajudar na prevenção da fraude. Apresenta-se, na tabela seguinte, um conjunto de desafios relativos à avaliação e  recomendações/sugestões que podem mitigar a problemática da fraude. Recomendações adicionais no Online learning good practice (TEQSA) [9].


Desafios  

Recomendações/Sugestões

Caraterísticas de exames que visem a avaliação da aprendizagem.

Existem instrumentos variados para avaliar online os estudantes (ver webinar no instante: 21’42’’), sendo interessante optar pelas formas que os estudantes considerarem menos apelativas em termos de cometerem fraude. 

As restrições nos processos de exame devem ser mínimas e razoáveis.

Cada restrição deve ser passível de ser aplicada com prejuízos irrisórios para a validade da avaliação. Impor demasiadas restrições pode tornar a avaliação menos segura. Por exemplo, há evidências que sugerem que restringir o tempo de provas alicia a fraude.

Tirar partido das  "restrições autênticas”, minimizando o número de restrições a respeitar numa avaliação.

Os processos e os instrumentos de avaliação podem beneficiar de restrições relacionadas com mais autenticidade das provas. A sugestão é procurar desenhar as avaliações permitindo mais autenticidade e permitir se necessário o uso de recursos tal como seriam usados em situações reais (ex: websites, colaboração entre pares...), eliminando assim benefícios da sua  utilização ilícita.

Restringir a aplicação de métodos de segurança a momentos chave, numa perspetiva “programática”.

Privilegiar as medidas de segurança da avaliação para as componentes da avaliação mais determinantes, investindo na promoção da integridade nas demais.

Códigos de honra.

A evidência sugere que os códigos de honra influenciam os estudantes e podem diminuir a fraude em alguns aspetos específicos da fraude, mas não em todos.

Vigilância remota de exames.

É uma componente do processo de minimização de fraude. Não deve ser aplicada por defeito, nem a todos os resultados da aprendizagem ou em qualquer circunstância. As evidências são ainda preliminares, havendo relatos de estudantes que se opõem e outros que preferem esta abordagem a exames presenciais com vigilância. Há recomendações para a sua utilização [8].

Importância da qualidade e da validade do instrumento/ prova de avaliação.

Aplicar medidas de vigilância em provas válidas e bem desenhadas (ao contrário de, por exemplo, provas com questões redigidas defeituosamente ou que incidam sobre aspetos não relacionados com os objetivos).

Propor alternativas diferentes aos estudantes: equidade, diversidade e acessibilidade.

DIsponibilizar alternativas para a realização da avaliação, para prevenir problemas relacionados com a privacidade, dificuldades do acesso à rede, entre outros. As alternativas mitigam aspetos de vulnerabilidade inerentes a cada estudante, assegurando a acessibilidade a todos os estudantes.


Orientações #3 Estabelecimento de requisitos para a segurança da avaliação [11]

Quando se pensa na segurança da avaliação deve ter-se em consideração que medidas razoáveis devem ser aplicadas. Na tabela seguinte listam-se propostas de sete requisitos, assim como as respetivas recomendações/sugestões, a serem consideradas na segurança da avaliação.


Requisito

Recomendações

Sugestões

O que deve ser vigiado.

É impraticável vigiar tudo, nada ou de uma forma aleatória.

Vigiar as tarefas relacionadas com os resultados da aprendizagem fundamentais em cada unidade curricular/módulo.

Garantir que o estudante é quem diz ser.

Inaceitável não tentar determinar a autenticidade das tarefas realizadas.

Solicitar um documento de identificação com fotografia; recorrer a comparações com trabalhos anteriores do estudante; conversar com o estudante sobre a tarefa realizada.

Ter a certeza de que a tarefa foi realizada nas condições que concebemos.

Inaceitável não tentar controlar.

Em algumas tarefas pode ser necessário a vigilância com recurso a ferramentas remotas.

Identificar se as tarefas são difíceis para o recurso à fraude. 

Não deve ser assumido, sem evidências, que não é possível o recurso à fraude numa dada tarefa.

O docente deve realizar a tarefa e tentar ele próprio recorrer à fraude, ou solicitar a um colega  a realização da tarefa recorrendo à fraude.

Saber se as abordagens para a deteção da fraude funcionam.

Não deve ser assumido que todos os casos de fraude são detetados.

As abordagens devem basear-se na investigação sobre deteção da fraude.

Existência de provas para os casos de ocorrência de fraude.

Inaceitável não haver um historial da taxa de casos de recurso à fraude, provados, sendo também inaceitável nunca ter sido detetado nenhum caso.

Os dados devem ser mantidos atualizados e as taxas de casos provados devem ser comparados com referenciais publicados. Caso haja uma discrepância muito grande, pode ser um sinal de que os casos não estão a ser detetados. 

Valores aproximados das taxas de casos não provados, provados e não detetados, como um todo.

Inaceitável não tentar comparar as taxas de casos esperados com a taxa de casos detetados.

As taxas de casos comprovados devem ser comparadas com os dados de prevalência em cursos/UC semelhantes.

Durante o webinar com o professor Phillip Dawson, poderá encontrar diversas perguntas dos docentes sobre a temática, com respostas e sugestões que o/a poderão ajudar.


Acesso ao webinar: https://www.youtube.com/watch?v=COHAkDurLIU

Acesso aos slides: 

https://www.slideshare.net/PhillipDawson3/portugal-defending-assessment-against-e-cheating-design-and-standards



Referências:




Autoria:  Cacilda Moura, Manuel João Costa

Coordenação: Centro IDEA-UMinho

Edição: Gabriel Hornink, Flávia Vieira

Publicação: 26/fevereiro/2021 



 


This work is licensed under a Creative Commons Attribution 4.0 International License.​