Avaliação com recurso à Inteligência Artificial - Parte 5 - Debate e discussão de vários planos e ideias

 Creio que não será injusto referir que este foi de longe o debate que suscitou mais comentários, sendo por isso mais difícil criar um resumo das opiniões ou mesmo de tudo o que foi escrito no fórum (https://elearning.uab.pt/mod/forum/view.php?id=1053664), mas fica aqui um balanço geral com aquelas que foram as minhas ideias, reflexões e respostas aos meus colegas:

A colega Elisabete Picanço elaborou um Plano que consistia em elaborar uma proposta de vídeo de apresentação da comitiva da escola para os jogos desportivos escolares. O plano da colega foi avaliado pela IA e a conclusão da mesma foi o seguinte: “O plano de avaliação é bem elaborado, com uma estrutura sólida que cobre todos os aspetos essenciais para avaliar um projeto multimédia de forma eficaz. As sugestões de aprimoramento visam apenas potencializar ainda mais os benefícios deste plano, garantindo uma experiência de aprendizado completa e rica para os estudantes.” Mediante a resposta do Chat GPT ao seu plano bem como a sua análise escrevi o seguinte: 

"Bom dia, Elisabete.

Tive a ler o teu plano e a atividade planeada é muito interessante e a própria escola vai usufruir do seu resultado. As sugestões do Chat GPT visam melhorias bastante sugestivas, por exemplo em relação à inclusão da autoavaliação no resultado final, de forma aos alunos melhorarem o processo avaliativo. É claro que apesar de não teres escrito a autoavaliação no teu plano muito provavelmente a irias fazer. As conclusões e pareceres do ChatGPT são, como também dizes na tua reflexão, sempre úteis e dão sugestões que ajudam a melhorar o nosso trabalho e eu pessoalmente tenho de me render à maneira útil como nos pode ajudar no ensino."

O meu colega Pedro Augusto elaborou um plano referente a Montagem e Programação do Arduino como Sensor de Distância, para alunos do 9º ano. Na altura achei muito interessante e referi que Em relação à sugestão do ChatGPT em envolver os alunos no processo da definição dos critérios, creio que a IA teve em conta o facto de serem alunos mais velhos do que por exemplo os meus (de 7º ano), onde os alunos são mais responsáveis para definirem os seus próprios critérios. No meu caso esta sugestão não aconteceu, pelo que saliento a especificidade da IA na sugestão de medidas.

O colega Luís Costa elaborou um plano em que alunos de Robótica do 7º ano teriam  de construir um robô que funcione como um lutador de sumo. Na altura respondi ao seu plano, escrevendo gostei muito da sua atividade, está relacionada com o que eu tenho feito em Robótica no ano letivo passado. O seu prompt foi bastante inteligente e claro na procura por sugestões. Estou a gostar muito das respostas geradas pela IA, elas podem ser até certo ponto generalistas mas tenho lido aqui no fórum respostas muito interessantes mesmo, circunstancialmente, com sugestões que não me lembraria à partida. Quando elas surgem, de facto há muito feedback da IA que considero profícuo e de possível utilização e que eu poderia aproveitar. No caso da atividade do Luís, conhecendo do que se trata, destaco a atenção que o ChatGPT teve quando sugeriu relativamente à carga de trabalho e tempo: “Três aulas de 90 minutos podem ser insuficientes para um projeto desta complexidade, especialmente considerando a necessidade de testar e ajustar os robôs. Pode ser necessário mais tempo para garantir que todos os alunos consigam completar o projeto com sucesso.” De certo modo concordo com o que a IA sugeriu, pois eu próprio analisando algumas turmas de 7º ano da disciplina de Robótica, seria bastante provável que precisassem de mais tempo do que 3 aulas de 90 minutos para este projeto. Daí estar a achar fantástica a mais valia de obter estas sugestões por parte da IA. Muito bom.

A colega Liliana Pinto elaborou um plano para o 4.º ano, do 1.º Ciclo do Ensino Básico, e na altura referi que de facto era uma atividade à qual não era a “minha praia” pelo público alvo a que se destina e por ser de ensino básico, que não percebo muito, não obstante, muito interessante. Referi que neste caso, não sei se a IA teve a “inteligência” de verificar a jogabilidade do site que foi fornecida no plano, apenas referiu que os sites “tornam o aprendizado mais envolvente e interativo”. Seria preciso que fosse capaz de entrar no site e verificar o jogo. Neste caso, não sugeriu nada de novo, apenas analisou o plano elaborado mas reforçou e até acrescentou informação à criação do próprio plano, o que no meu caso daria uma grande ajuda.

A colega Maria Joana Fonseca elaborou um plano para alunos do 5º ano e para a disciplina de Inglês. Na altura escrevi o seguinte: “Em relação ao feedback do ChatGPT, fiquei mesmo surpreendido com as suas sugestões de melhoria, não sei se a colega poderá concordar comigo por ser mais especializada na matéria mas no meu caso, talvez por não ser a minha área, aproveitaria imensa informação daquilo que foi sugerido. O cuidado que a IA teve com a questão do tempo e a própria justificação é quase humana e certamente muito mais especificada do que eu conseguiria prever. A sugestão da atribuição de fichas de apoio é fantástica, com a devida justificação de serem estratégias de reforço. Em suma, para mim, foi uma resposta muito construtiva e eu certamente aproveitaria muitas das suas sugestões.”

O colega Jorge Fonseca elaborou um plano para uma formação em empreendedorismo, direcionada para alunos do ensino superior, na qual será utilizada uma abordagem heutagógica. É uma formação ambiciosa, com algumas semelhanças com a nossa pós graduação. O Chat GPT deu boas sugestões, com pontos positivos e negativos, nalguns casos um ponto positivo pode ter também a sua parte menos boa, salientando a questão do blog: se por um lado o Chat GPT considera que “O uso de blogs e fóruns promove o envolvimento ativo dos alunos e a reflexão contínua sobre o aprendizado” por outro lado refere que a “manutenção de um blog, participação em fóruns e criação de vídeos, pode ser sobrecarregante para alguns alunos, especialmente em uma formação assíncrona onde a auto-gestão do tempo é crucial”. Portanto uma vez mais, não me querendo estar a repetir, há que apontar a IA como uma enciclopédia de informações que até são bem cruzadas, são analisadas e bem referidas, no final, é o professor que decide o que fazer perante o curso, o público alvo e de acordo com a sua experiência, e já agora, com a sua sensatez.

Muito mais foi dito no fórum, penso que excedeu todas as expectativas e elevou a minha mente para a utilização da IA na avaliação e no decurso das minhas futuras aulas. Acima de tudo, como respondi no fórum ao colega Luís Costa, é interessante usar o ChatGPT no âmbito das aulas, acho que é um marco que para o bem e para o mal vai mudar a nossa sociedade, e a educação não é exceção. Também tem sido interessante verificar que para perguntas um pouco diferentes as respostas podem ser bem díspares, apesar do objetivo final pretendido ser o mesmo. Mas, também os humanos não nos percebem bem se não os inquirirmos da forma correta, portanto como podemos julgar isso?

Ficou assim bem patente que a boa utilização da IA pode ser uma mais valia para o professor, às vezes, mais que uma ferramenta de auxílio, uma “opinião” válida baseada em milhões de dados e de informações cruzadas e analisadas. Também ficou bem claro que o professor, no final, é um elemento curador e responsável por decidir a implementação de todas estas ferramentas com o seu espírito crítico, capacidade de julgamento e sempre tendo em conta o público alvo que está à sua frente, nunca descurando que se tratam de humanos diferenciados na qual cada recurso terá de ser sempre bem tratado e humanizado.

Avaliação com recurso à Inteligência Artificial - Parte 4 - Debate e discussão ao meu Plano

Tendo deixado a minha reflexão crítica ao parecer da IA, muitos dos meus colegas debateram o meu plano, referente à elaboração de um jogo no Scratch, atividade para 3 aulas de 90 minutos de Robótica do 7º ano, refletindo assim sobre o mesmo, o que gerou uma discussão muito produtiva e com excelentes ideias:

Avaliação com recurso à Inteligência Artificial - Parte 3 - A minha reflexão à análise da IA ao meu plano

Centrando-me nas sugestões do ChatGPT, tenho a referir que estou surpreendido pela positiva com as suas conclusões, que sem dúvida, trouxeram sugestões positivas e críticas ao meu trabalho. Nunca tinha pensado até ao momento usar o ChatGPT para avaliar o meu próprio trabalho e tenho de reconhecer que a integração da IA visa melhorar significativamente o desenvolvimento do meu plano de avaliação. Por exemplo, no ponto 1, que foi o que achei mais interessante, o ChatGPT menciona que deveria ter detalhado mais as estratégias e ferramentas específicas que serão usadas para apoiar os alunos durante o desenvolvimento do projeto e reconheço que poderia ter sido mais detalhado, sendo mais específico no tipo de ferramentas de apoio (que não referi). Existem outros pontos que apesar de não ter referido no plano, sei que iria fazer, como por exemplo o ponto 3 (inclusão de elementos concretos e exemplos). Digo isto porque quando desenvolvo atividades similares, por norma dou sempre exemplos de vários jogos já elaborados, dos seus pontos fortes e apresento um pouco do código desenvolvido de forma aos alunos tirarem algumas ideias, antes de iniciarem o seu próprio projeto. Finalizando, pontos como a diversificação dos critérios de avaliação ou a elaboração dum plano de contingência (para alunos que não consigam terminar o projeto tão bem ou que não consigam individualmente atingir os objetivos) são sugestões mais do que bem vindas e realistas dentro da própria essência do projeto.

De resto, procurei planificar uma atividade que “facilitasse ao estudante um processo de feedback para a melhoria da sua forma de aprendizagem”, estruturando a avaliação, “a partir dos objetivos e das competências que o estudante deverá adquirir”.

Referências:

Moreira, José António; Henriques, Susana; Barros, Daniela; Goulão, Maria de Fátima; Caeiro, Domingos. (2020). Educação Digital em Rede: Princípios para o design pedagógico em tempos de pandemia. Lisboa, Portugal.

Avaliação com recurso à Inteligência Artificial - Parte 2 - Resposta do chat GPT 4.0

 Submetendo o meu plano ao chat GPT 4.0 foi com enorme surpresa que verifiquei uma série de sugestões válidas, com descrição de pontos fortes e pontos fracos, e uma análise detalhada do meu plano:

Avaliação com recurso à Inteligência Artificial - Parte 1 - Plano de avaliação de uma atividade

 No Tema 2: Planificação da avaliação digital - Métodos e instrumentos de avaliação digital, referente à Unidade Curricular 5 - Avaliação Digital, ministrada pelas docentes Angélica Monteiro e Ana Machado, foi-nos proposto uma discussão acerca da avaliação com recurso à IA. Assim, as professoras da Unidade propuseram que fosse desenhado um plano de avaliação de uma atividade a desenvolver num nível de ensino à sua escolha, que respondesse a várias questões. Aceitei o desafio, criando assim a minha atividade. Como fui professor de Robótica do 7º ano no ano transato, pensei no desenvolvimento de um jogo para três aulas de 90 minutos. Assim, o meu plano foi o seguinte:

Avaliação digital - rubricas, inovação do professor e o possível caos na informação digital

 Finalizando a sala virtual assíncrona 1, respeitante à Unidade Curricular 5 - Avaliação Digital, ministrada pelas docentes Angélica Monteiro e Ana Machado, tenho ainda a referir algumas opiniões que teci, que tem a ver com uma ideia concreta que o colega Luís Costa lançou que se relaciona com alguma dificuldade que o professor pode ter em avaliar mediante certas rubricas mais ambíguas. Assim, referi no fórum que na minha opinião, a verdade é que por mais grelhas de observação que possamos fazer, o resultado final da avaliação que apresentamos vai trazer sempre aquela questão de "Poderia ter avaliado melhor?". Não há dúvida, contudo, que esses parâmetros vem ajudar e se o aluno estiver clarificado tanto melhor. Por isso é que o conceito de feedback é uma grande ajuda e uma grande valia no processo, pois esse diálogo com o aluno vem clarificando as suas próprias expetativas. Por mais mais específicos que possam ser, certos termos acabam por no final trazer aquele sentimento de que ainda assim, são vagos.

A colega Liliana Pinto referiu uma ideia em que debateu que as maiores dificuldades em inovar vêm dos professores mais novos, o que não acaba por ser curioso. Eu referi no fórum que também tenho essa ideia, ou melhor, não acho que a idade do professor, velho ou novo, tenha grande impacto na inovação do mesmo. O professor deve ter vocação. E quando a tiver, certamente vai procurar inovar, melhorar, e não estagnar. Se o seu processo de ensino é bom e merece ser mantido tanto melhor. Se há inovações tecnológicas que podem não trazer nada de impactante para um processo de ensino/aprendizagem para um determinado público alvo também posso concordar. Portanto, nem tudo é mau no professor "new age", pelo contrário, contudo esse próprio professor será capaz, dado o seu interesse em melhorar em prol dos alunos, de inovar.

Finalizando, a questão muito pertinente do caos da informação, que foi lançada pelo colega Pedro Augusto. Em relação a isso, tive a oportunidade de escrever o seguinte: Esse caos de informação que pode imperar tipicamente no ensino digital pode no paradigma onlife que temos vindo a testar, vir a ser uma constante. Nesse contexto, apesar do caos, a informação que vai surgir em excesso pode ser mais aproveitada por um educando do que por outro e vice-versa. O papel do professor pode, com as utilizações do feedfoward que e com o feedback, traduzir-se no caminho que se pretende, encaminhando o aluno. Mas esse excesso de informação que pode trazer algum caos pode também levar a todos à aprendizagem, professor incluído. Acho que não há exemplo melhor de onde isso pode acontecer do que no ensino digital.

Ficaria assim fechada a sala virtual 1, muito enriquecida com as opiniões de todos, em que o papel da avaliação sumativa e a avaliação formativa foram amplamente debatidos, ressalvando a importância do feedback aliado ao feedfoward. 

Referências: 

Machado, E. A. (2021). Feedback. Folha de apoio à formação - Projeto de Monitorização, Acompanhamento e Investigação em Avaliação Pedagógica (MAIA). Ministério da Educação/Direção-Geral da Educação. Pinto, J. & Santos, L. (2006). A avaliação numa perspectiva formativa. In J. Pinto & L. Santos, Modelos de Avaliação das Aprendizagens (pp. 97-128). Lisboa: Universidade Aberta.

Pinto, J. & Santos, L. (2006). A avaliação numa perspectiva formativa. In J. Pinto & L. Santos, Modelos de Avaliação das Aprendizagens (pp. 97-128). Lisboa: Universidade Aberta.

Pestana, F., & Cardoso, T. (2021). Como avaliar com Tecnologias Educacionais em Rede? Dimensões de uma estratégia num Ambiente Virtual Aberto de Aprendizagem. RE@D – Revista de Educação a Distância e eLearning, 4(2), 61-76.

Questões sobre o Ensino Profissional e os critérios para avaliar uma atividade autêntica

Ainda referente ao primeiro fórum respeitante à Unidade Curricular 5 - Avaliação Digital, ministrado pelas docentes Angélica Monteiro e Ana Machado, surgiu de forma natural o tema sobre as atividades autênticas, onde o colega Pedro Augusto deu o seu contributo e opinião sobre o Ensino Profissional, área em que o colega tem vindo a especializar-se ao longo de todos estes anos. O Pedro referiu a especificidade do Ensino Profissional, onde nem todos os alunos vão ser ou têm de ser Engenheiros ou Doutores, como referiu, questionando: “Estaremos tão "rígidos" assim para não potenciar as diferentes vocações?”

Como professor do Ensino Profissional, procurei também dar o meu contributo, salientando o artigo sobre avaliação digital de Isolina Oliveira e Alda Pereira, tendo, após leitura atenta ao artigo, elaborado este esquema que resume sucintamente os critérios para uma atividade autêntica:

Efetivamente, ao contrário de outros países onde o Ensino Profissional filtra muitos dos melhores alunos, especializando-os nas suas apetências, tal não acontece no nosso sistema, na maior parte dos casos, onde os alunos são inseridos em cursos sem vocações, ora por falta de oferta, ora por necessidade de somente “fazer número”. Para finalizar, a autenticidade que é referida no artigo, traça uma relação com o mundo real, o mundo do trabalho, o mundo do saber fazer, o mundo “autêntico”, onde a avaliação digital autêntica vem “configurar os contextos para o desenvolvimento das competências desejáveis na sociedade atual”.

 

Referências:

Oliveira, Isolina e Pereira, Alda (2021). Avaliação digital autêntica: questões e desafios. RE@D - Revista de Educação a Distância e Elearning, Volume 4, Número 2.