Pais e alunos estão cada vez mais preocupados com o uso de tecnologias de inteligência artificial (IA) em sala de aula, especialmente tecnologia de reconhecimento facial, segundo pesquisa do Centro de Democracia e Tecnologia (CDT).

O relatório do CDT, divulgado em 12 de dezembro, descobriu que mais da metade dos pais e alunos pesquisados ​​estavam preocupados com o uso de reconhecimento facial e outras tecnologias de IA, incluindo sistemas de rastreamento de localização, nas escolas.

Os professores, também pesquisados, demonstraram maior grau de aceitação das tecnologias.

De acordo com o relatório, um número crescente de escolas implementou tais ferramentas.

Os defensores das tecnologias argumentam que elas podem ajudar a proteger os ambientes escolares de ameaças violentas, como atiradores em escolas.

Os defensores da privacidade argumentam que não foi comprovado que as tecnologias que representam um risco para a privacidade e os dados pessoais dos alunos aumentam a segurança escolar.

‘Profunda desconexão entre escolas, pais e alunos’ 

De acordo com o CDT, “ferramentas de segurança experimentais e potencialmente prejudiciais estão sendo usadas independentemente das preocupações dos alunos e dos pais” – incluindo tecnologias “que anteriormente considerávamos ‘muito estranhas’”.

Estes incluem análise preditivasupervisão remotareconhecimento facialcompartilhamento de dados de aplicação da leisistemas de detecção de armas e rastreamento de localização de estudantes.  

Impulsionadas pela IA, estas tecnologias “estão se expandindo nas escolas para responder aos tiroteios em massa, à crise de saúde mental dos jovens e a outras ameaças sempre presentes à segurança dos funcionários e dos alunos”, disse o CDT – uma tendência “alarmante” de que as escolas continuam a implementar de tais tecnologias, apesar dos “altos níveis de preocupação” por parte de pais e alunos.

Estes “altos níveis de preocupação” ficaram evidentes nos resultados da pesquisa, mostrando:

  • 58% dos pais e 55% dos alunos (e 33% dos professores) mostraram-se preocupados com a utilização de câmaras de reconhecimento facial para verificar quem deve ter permissão para entrar num edifício escolar ou quem está autorizado a lá entrar.
  • 71% dos pais e 74% dos alunos (e 36% dos professores) expressaram preocupação com o uso de tais tecnologias para rastrear a localização física dos alunos.
  • 60% dos pais e 58% dos alunos (e 31% dos professores) estavam preocupados com o uso de câmeras de IA “para perceber movimentos físicos incomuns ou irregulares”.
  • 55% dos pais e 45% dos alunos (e 27% dos professores) expressaram preocupação com o uso de tais tecnologias para detectar tiros nas dependências da escola.
  • 69% dos alunos e pais (e 36% dos professores) estavam preocupados com o fato de os dados dos alunos estarem a ser analisados ​​para prever quais os alunos individuais que teriam maior probabilidade de cometer um crime, um ato violento ou um ato de automutilação.
  • 66% dos pais e 65% dos alunos (e 38% dos professores) expressaram preocupação com a possibilidade de as informações acadêmicas dos alunos, tais como as suas notas e registos de frequência, poderem ser partilhadas com as autoridades.
  • 68% dos pais e 71% dos alunos (e 37% dos professores) estavam preocupados com o uso de tais tecnologias para monitorar as contas dos alunos nas redes sociais.

Estes resultados mostram “uma profunda desconexão entre escolas, pais e alunos nas suas prioridades quando se trata de decisões de aquisição de edtech [dados e tecnologia educacionais]”, escreveu o CDT.

Escolas que utilizam fundos de recuperação da COVID para comprar tecnologias de vigilância

A pesquisa baseia-se em um relatório do CDT, publicado em setembro, sobre ferramentas edtech que realizam filtragem e bloqueio de conteúdo, monitoramento de atividades de alunos ou que usam IA generativa.

De acordo com esse relatório, a pandemia da COVID-19 ajudou a acelerar a adoção de tais tecnologias nos ambientes escolares — um desenvolvimento visto de forma crítica pelo CDT.

“O uso de software de monitoramento das atividades dos alunos se expandiu rapidamente durante o aprendizado remoto e manteve uma presença significativa na vida dos alunos. Infelizmente, continua a prejudicar os estudantes que pretende ajudar”, afirmou o relatório.

De acordo com o relatório, esses danos vão desde ações disciplinares até a saída de estudantes sem o seu consentimento e o início de contato com as autoridades.

O relatório também incluiu dados que indicam que 88% dos professores relataram que suas escolas usam software de monitoramento de atividades dos alunos, 40% dos professores relataram que suas escolas monitoram os dispositivos pessoais dos alunos e 38% dos professores relataram que suas escolas monitoram os alunos fora do horário escolar – embora, nomeadamente, houve uma diminuição de 9 pontos percentuais nesta métrica em relação ao ano letivo de 2021-22.

Kenneth Trump, presidente dos Serviços Nacionais de Segurança e Proteção Escolar, disse à Education Week em outubro: “As escolas têm usado os fundos de recuperação da COVID para comprar equipamentos e hardware de segurança”.

As empresas tecnológicas “aumentaram” a comercialização destes produtos nos distritos escolares nos últimos anos, de acordo com Trump, que disse que as compras “foram utilizadas para resolver problemas políticos e de relações comunitárias, e não tanto problemas de segurança escolar”.

“Quando há uso ou confisco de armas no campus, vemos conselhos escolares e superintendentes tomarem decisões instintivas e atenderem às necessidades de segurança emocional dos pais e funcionários”, acrescentou Trump.

Num exemplo do Reino Unido, a Sky News informou em Outubro de 2021 que 27 escolas tinham começado a utilizar um sistema de reconhecimento facial para servir almoço aos alunos e mais 15 estavam prontas para implementar a tecnologia – uma medida supostamente destinada a reduzir o risco de transmissão de COVID-19. 

A Sky News informou que pais e ativistas “alertaram que normalizou a exposição das crianças à vigilância biométrica e reclamaram que não estavam confiantes de que os alunos estavam sendo adequadamente informados sobre o risco à privacidade”.

E apesar dos supostamente altos níveis de consentimento dos pais, a Sky News informou na época que os defensores da privacidade das crianças, Jen Persson e Pippa King, disseram ao Comissário da Criança da Escócia: “A alta adesão não deve ser confundida com consentimento”, observando que os formulários de consentimento fornecidos aos pais tornavam a aceitação parecer obrigatórios.

Tais reclamações levaram o Information Commissioner’s Office, o órgão fiscalizador de dados do Reino Unido, a investigar. O Conselho de North Ayrshire da Escócia interrompeu a implementação da tecnologia, enquanto a Câmara dos Lordes britânica debatia a questão em novembro de 2021.

Greg Glaser, um advogado residente na Califórnia para iniciativas de privacidade da Children’s Health Defense, disse ao The Defender que “Durante a era Covidiana de máscaras e bloqueios, os pais testemunharam uma normalização forçada das salas de aula do Zoom, mas o Zoom não foi a única tecnologia sendo normalizada para os jovens.”

Glazer acrescentou:

“Isso não é surpreendente para as escolas públicas. A burocracia não está organizada para remediar questões profundas da sociedade, mas para tratar sintomas. Nada irá realmente melhorar nas escolas públicas até que a sociedade decida aprender a lição mais profunda, a razão pela qual as crianças falham num sistema concebido para falhar. Por que o sistema foi projetado para ferir crianças?”

“Entretanto, a indústria educacional bilionária que lucra com o ‘combate’ ao fracasso continuará a oferecer as suas supostas soluções. É tudo tão cansativo – você pode identificar o problema a um quilômetro de distância.”

Preocupações com os “efeitos inibidores” das tecnologias de reconhecimento facial nas escolas

De acordo com o CDT, as tecnologias utilizadas “em nome da segurança dos alunos” representam capacidades com as quais os líderes educativos e os decisores políticos devem estar preocupados.

Estes incluem a falta de eficácia e precisão, tais como limitações técnicas, “falsos positivos” que podem levar a “ações disciplinares infundadas” dirigidas aos estudantes e dificuldades na auditoria de tais sistemas.

Outro conjunto de preocupações, disse o CDT, são os “efeitos inibidores”. De acordo com o CDT, “Ter diversas ferramentas tecnológicas de segurança invasivas como parte regular do ambiente de aprendizagem de um aluno pode, na verdade, fazer com que os alunos se sintam menos seguros na sala de aula.

“O monitoramento e a vigilância excessivos podem prejudicar a fala, as associações, o movimento e o acesso a recursos vitais”, disse o CDT.

Estas preocupações foram refletidas num artigo de 2020 publicado em Learning, Media and Technology por Mark Andrejevic, Ph.D. Neil Selwyn, Ph.D. da Universidade Monash, na Austrália, segundo o qual tal tecnologia pode alterar “a natureza das escolas e da escolaridade ao longo de linhas divisórias, autoritárias e opressivas”.

“O principal desafio que os educadores enfrentam agora é se existe ou não uma perspectiva futura realista de remodelar de alguma forma estas tecnologias para fins mais benéficos e/ou benignos. Alternativamente, esta é uma forma de tecnologia digital que não deveria ser aplicada “educacionalmente” de qualquer forma?” os autores escreveram.

Tim Hinchliffe , editor do The Sociable, disse ao The Defender: “O reconhecimento facial nas escolas tem a ver com a manipulação do comportamento e normaliza a vigilância total desde a tenra idade”.

“Na sala de aula, o reconhecimento facial ensina às crianças que elas não têm privacidade e que tudo o que disserem ou fizerem pode e será usado contra elas. Isto torna mais fácil para os governos e as empresas controlarem as gerações futuras porque estão a ser educados com a noção de que a privacidade não existe, e é melhor que façam o que lhes é dito ou então!” ele adicionou.

Hinchliffe citou um relatório “Good Morning America” de 2020 que mostrava um vídeo de uma aula online da Parkland Elementary School, no Texas. Quando a conexão do Zoom de um professor da segunda série caiu, os alunos inicialmente reagiram – antes de perceberem que a chamada ainda estava sendo gravada.

“As crianças começaram a agir mal no início, mas quando um aluno percebeu que ainda estavam sendo gravados, todos se conformaram com medo de ter problemas com o diretor. É esse medo que o torna tão poderoso e faz com que as crianças se conformem”, disse ele.

Lean Lau, Ph.D., da Brunel Law School de Londres, contou uma conversa com sua filha, que, quando questionada se estaria preocupada com o uso da tecnologia de reconhecimento facial no refeitório de sua escola, disse “Na verdade não. Isso tornaria as coisas muito mais rápidas na finalização da compra.”

De acordo com Lau, “Suas palavras validam a preocupação de que as crianças estão muito menos conscientes  dos seus direitos sobre os dados em comparação com os adultos”.

“Numa escala macro, uma população que sabe que está a ser vigiada mudará o seu comportamento para se conformar às normas e os seus cidadãos irão policiar-se”, disse Hinchliffe.

O relatório do CDT também abordou o impacto potencialmente desproporcional destas tecnologias contra categorias protegidas de estudantes, a falta de recursos que muitas escolas têm para manter e atualizar essas tecnologias, mecanismos de governação pouco claros que supervisionam a utilização destas tecnologias e riscos de privacidade, como violações de dados.

Um hack de 2021 que impactou a Verkada, uma desenvolvedora de tecnologias de segurança baseadas em nuvem amplamente utilizadas em escolas, expôs publicamente transmissões ao vivo de câmeras de vigilância.

Irene Knapp, diretora de tecnologia da organização sem fins lucrativos Internet Safety Labs, disse à Education Week que as escolas precisam considerar cuidadosamente se desejam assumir a responsabilidade de lidar e proteger os dados biométricos dos alunos.

Knapp disse que é difícil saber se os dados coletados por essas tecnologias estão sendo compartilhados com terceiros.

De acordo com a Education Week, “há também o risco real de desvio de missão”, pois é “tentador” para as escolas usarem tecnologia de vigilância, como reconhecimento facial, de maneiras para as quais não foi originalmente planejado, “como rastrear e multar pais que se atrasam buscar seus filhos na escola.”

Molly Kleinman, Ph.D., diretor administrativo do programa de Ciência, Tecnologia e Políticas Públicas da Universidade de Michigan, disse ao Route Fifty em setembro que, sem regulamentações em vigor, as escolas podem usar essas tecnologias para “tarefas de rotina” ou podem exigir reconhecimento facial para os alunos fazerem login para computadores e tablets de propriedade da escola.

De acordo com Hinchliffe, “Mesmo que o reconhecimento facial comece na entrada das escolas para verificar quem está entrando pelas chamadas ‘razões de segurança’, é apenas uma questão de tempo até que ele entre na sala de aula e, quando isso acontecer, roubará alunos de outra parte de sua infância, e as crianças não poderão mais ser crianças.”

“Do ponto de vista da lei de privacidade, as escolas de vigilância governamental estão se expondo a responsabilidades em muitos níveis potenciais, já que seus procedimentos de adesão, se houver, falharão rotineiramente em cobrir a realidade do que elas e seus parceiros corporativos estão fazendo”, Glaser disse.

“Basta apenas uma violação de dados para acionar requisitos de notificação aos pais”, disse Glaser. “E onde os procedimentos de segurança não são devidamente seguidos, isso significa processos judiciais. Pelo menos é assim que o sistema projetado para falhar irá falhar.”

Tais preocupações não são novas. Já em 2019, a revista Wired abordou a “ética delicada” da implementação de tecnologias de IA na sala de aula.

Nova York implementou proibição de tecnologias de reconhecimento facial em salas de aula

Foram essas “preocupações sérias em torno do uso da tecnologia de reconhecimento facial” que “não superam os benefícios alegados” que levaram o estado de Nova York a decretar uma proibição de tais tecnologias em setembro, proibindo as escolas “de comprar ou utilizar tecnologia de reconhecimento facial”.

Essa determinação foi feita após a conclusão de uma análise do Escritório de Serviços de Tecnologia da Informação e com base em pesquisas derivadas de dados coletados pela organização sem fins lucrativos The Violence Prevention Project, que constatou que 70% dos atiradores em escolas entre 1980 e 2019 eram estudantes atuais.

Um estudo de 2020 da Universidade de Michigan sobre a tecnologia de reconhecimento facial e seus impactos na sala de aula também influenciou potencialmente a decisão de Nova York de impor uma proibição.

De acordo com o estudo, a tecnologia de reconhecimento facial “provavelmente terá cinco tipos de implicações: exacerbar o racismo, normalizar a vigilância e minar a privacidade, restringir a definição do aluno ‘aceitável’, mercantilizar os dados e institucionalizar a imprecisão”.

“Como o FR [reconhecimento facial] é automatizado, estenderá esses efeitos a mais alunos do que qualquer sistema manual poderia”, acrescenta o estudo. “Com base nesta análise, recomendamos fortemente que o uso de FR seja proibido nas escolas.”

O estudo também emitiu uma ampla gama de recomendações nacionais e locais para escolas que continuariam a utilizar tais tecnologias. Recomendações semelhantes foram feitas pelo CDT que acompanha o seu relatório de 12 de dezembro.

E em 2019, Vox observou que as escolas estavam cada vez mais “usando o reconhecimento facial para tentar impedir os tiroteios”, mas argumentou que “deveriam pensar duas vezes” sobre esta prática.

Os distritos escolares ainda podem optar por utilizar outros tipos de tecnologias biométricas, como a impressão digital, de acordo com a nova política de Nova Iorque.

Isso ocorre apesar da “imensa pressão” que os administradores escolares enfrentam para proteger suas escolas da violência armada e da ameaça de tiroteio, de acordo com a Education Week, que observou que as tecnologias de reconhecimento facial e de armas alimentadas por IA “podem ser uma solução atraente para conselhos escolares e superintendentes procurando tranquilizar os pais.”

Nova York implementou uma moratória sobre o reconhecimento facial depois que os pais contestaram legalmente a adoção desta tecnologia pelo Distrito Escolar Central de Lockport em janeiro de 2020, segundo a revista Time.

“O distrito oeste de Nova York foi um dos primeiros no país a incorporar a tecnologia após os tiroteios em massa em escolas que levaram os administradores em todo o país a adotar medidas de segurança que vão desde vidros à prova de balas até guardas armados”, relatou a Time.

Em 2020, duas escolas secundárias na França que experimentaram a tecnologia de reconhecimento facial foram processadas, o que levou a uma decisão de um tribunal administrativo que proibiu a prática.

De acordo com a decisão, a implementação da tecnologia “não foi proporcional nem necessária”, o consentimento dos estudantes não foi obtido livremente e poderiam ter sido implementadas medidas menos invasivas à privacidade.

Em outros lugares, porém, a implementação de tais tecnologias continua. Em agosto, Filadélfia anunciou que iria introduzir drones pertencentes ao distrito “para patrulhar áreas propensas à violência sem a necessidade de polícia no terreno”.

A Atualização Biométrica informou em outubro de 2022 que as escolas de Montana estão usando a tecnologia de reconhecimento facial da Verkada “em uma tentativa de melhorar a segurança”. O Distrito Escolar de Sun River Valley, por exemplo, alimenta seu sistema de reconhecimento facial com “uma lista de observação do Departamento do Xerife local, bem como fotos de alunos no anuário”.

De acordo com Hinchliffe, a China está a expandir as capacidades de reconhecimento facial nas suas escolas “com IA e wearables, para incluir reconhecimento de emoções e outros aspectos comportamentais, para que possam saber quando uma criança está chateada ou quando não está a prestar atenção”.

“Mais uma vez, o reconhecimento facial nas escolas consiste em manipular e controlar o comportamento, incutindo medo na criança”, disse Hinchliffe.

O advogado Richard Jaffe disse ao The Defender que há espaço para reconhecimento facial nas escolas.

“A privacidade, como todos os direitos, não é absoluta e tem que dar lugar ao… direito dos alunos à segurança.”

“Especulo que a maioria dos pais e quase todos os professores e funcionários aceitarão algumas violações relativamente pequenas da privacidade para aumentar a segurança das escolas. Sem fechar todas as escolas vigiadas por um pelotão de polícias da SWAT armados com M16, a solução tem de envolver tecnologia e envolverá cada vez mais IA e reconhecimento facial”, disse ele.

“A maioria aceitará essa compensação e duvido muito que os tribunais questionem os distritos escolares que empregam as medidas atualmente disponíveis”, acrescentou Jaffe.

A Forbes, em uma matéria de fevereiro de 2023, também viu um lugar para tecnologias de reconhecimento facial nas escolas, chamando-as de “tecnologia inteligente”, mas observando sua “implementação ruim, ruim, ruim” e argumentando que há “obstáculos a serem superados antes que o reconhecimento facial possa ser implementado”.

Estes obstáculos incluem “investigação sobre os impactos no bem-estar e a ética da utilização da biometria nas escolas”, garantindo que tais sistemas “padronizam operacionalmente os mais altos níveis de proteção de direitos” e garantindo que a sua utilização é “totalmente legal” e “sem consequências indesejadas”.