Secondo un sondaggio del Center for Democracy and Technology (CDT), genitori e studenti sono sempre più preoccupati per l’uso delle tecnologie di intelligenza artificiale (AI) in classe, in particolare per il riconoscimento facciale.

Il rapporto del CDT, pubblicato il 12 dicembre, ha rilevato che più della metà dei genitori e degli studenti intervistati è preoccupata per l’uso nelle scuole del riconoscimento facciale e di altre tecnologie di intelligenza artificiale, compresi i sistemi di localizzazione.

Gli insegnanti, anch’essi intervistati, hanno mostrato un maggior grado di accettazione delle tecnologie.

Secondo il rapporto, un numero crescente di scuole ha implementato tali strumenti.

I sostenitori di queste tecnologie sostengono che possono aiutare a proteggere gli ambienti scolastici da minacce violente, come le sparatorie nelle scuole.

I difensori della privacy sostengono che le tecnologie che mettono a rischio la privacy e i dati personali degli studenti non hanno dimostrato di aumentare la sicurezza a scuola.

“Profondo scollamento tra scuole, genitori e studenti”

Secondo il CDT “vengono utilizzati strumenti di sicurezza sperimentali e potenzialmente dannosi, senza tener conto delle preoccupazioni di studenti e genitori”, comprese tecnologie “che in precedenza ritenevamo ‘troppo lontane'”.

Queste includono l’analisi predittiva, la sorveglianza agli esami da remoto, il riconoscimento facciale, la condivisione dei dati delle forze dell’ordine, i sistemi di rilevamento delle armi e la localizzazione degli studenti.

Guidate dall’intelligenza artificiale, queste tecnologie “si stanno espandendo nelle scuole per rispondere alle sparatorie di massa, alla crisi della salute mentale dei giovani e ad altre minacce alla sicurezza sempre presenti per il personale e gli studenti”, ha dichiarato il CDT, sottolineando che si tratta di una tendenza “allarmante”, secondo cui le scuole stanno continuando a diffondere tali tecnologie nonostante gli “elevati livelli di preoccupazione” di genitori e studenti.

Questi “alti livelli di preoccupazione” erano evidenti nei risultati dell’indagine che mostravano:

  • Il 58% dei genitori e il 55% degli studenti (e il 33% degli insegnanti) si sono detti preoccupati per l’uso di telecamere per il riconoscimento facciale per verificare chi può entrare in un edificio scolastico o chi è autorizzato a starci.
  • Il 71% dei genitori e il 74% degli studenti (e il 36% degli insegnanti) si sono detti preoccupati per l’uso di queste tecnologie per tracciare la posizione fisica degli studenti.
  • Il 60% dei genitori e il 58% degli studenti (e il 31% degli insegnanti) si sono detti preoccupati per l’uso delle telecamere AI “per notare movimenti fisici insoliti o irregolari”.
  • Il 55% dei genitori e il 45% degli studenti (e il 27% degli insegnanti) si sono detti preoccupati per l’uso di queste tecnologie per rilevare colpi di arma da fuoco nelle scuole.
  • Il 69% degli studenti e dei genitori (e il 36% degli insegnanti) si è detto preoccupato del fatto che i dati degli studenti vengano analizzati per prevedere quali singoli studenti abbiano maggiori probabilità di commettere un crimine, un atto di violenza o un atto di autolesionismo.
  • Il 66% dei genitori e il 65% degli studenti (e il 38% degli insegnanti) hanno espresso preoccupazione per la possibilità che le informazioni accademiche degli studenti, come i voti e i registri di frequenza, possano essere condivise con le forze dell’ordine.
  • Il 68% dei genitori e il 71% degli studenti (e il 37% degli insegnanti) si sono detti preoccupati per l’uso di queste tecnologie per monitorare gli account dei social media degli studenti.

Questi risultati mostrano “un profondo scollamento tra le scuole, i genitori e gli studenti per quanto riguarda le loro priorità quando si tratta di decisioni di acquisto di prodotti edtech [educational data and technology] “, ha scritto il CDT.

Le scuole utilizzano i fondi di recupero COVID per acquistare tecnologie di sorveglianza

L’indagine si basa su un rapporto del CDT, pubblicato a settembre, sugli strumenti edtech che effettuano il filtraggio e il blocco dei contenuti, il monitoraggio delle attività degli studenti o che utilizzano intelligenza artificiale generativa.

Secondo tale relazione, la pandemia COVID-19 ha contribuito ad accelerare l’adozione di tali tecnologie negli ambienti scolastici, uno sviluppo considerato come critico dal CDT.

“L’uso del software di monitoraggio delle attività degli studenti si è rapidamente diffuso durante l’apprendimento a distanza e ha mantenuto una presenza significativa nella vita degli studenti. Purtroppo,

continua a danneggiare gli studenti che dovrebbe aiutare”, si legge nel rapporto.

Secondo il rapporto, questi danni vanno dalle azioni disciplinari alla divulgazione di informazioni sugli studenti senza il loro consenso e all’avvio di contatti con le forze dell’ordine.

Il rapporto include anche dati che indicano che l’88% degli insegnanti ha riferito che la propria scuola utilizza un software per il monitoraggio delle attività degli studenti, il 40% degli insegnanti ha riferito che la propria scuola controlla i dispositivi personali degli studenti e il 38% degli insegnanti ha riferito che la propria scuola controlla gli studenti al di fuori dell’orario di lezione, anche se vi è stato un calo specifico del 9% di questa percentuale dall’anno scolastico 2021-22.

Kenneth Trump, presidente della National School Safety and Security Services, ad ottobre ha dichiarato a Education Week : “Le scuole hanno utilizzato i fondi di recupero COVID per acquistare attrezzature e hardware di sicurezza”.

Negli ultimi anni le aziende tecnologiche hanno “amplificato” la commercializzazione di questi prodotti ai distretti scolastici, secondo Trump, che ha affermato che gli acquisti “sono stati utilizzati per risolvere problemi politici e di relazione con la comunità, non tanto per problemi di sicurezza scolastica”.

“Quando c’è un uso o una confisca di armi nei campus, vediamo i consigli scolastici e i sovrintendenti prendere decisioni d’impulso e fare leva sui bisogni emotivi di sicurezza dei genitori e del personale”, ha aggiunto Trump.

In un esempio dal Regno Unito Sky News ha riferito che nell’ottobre 2021 27 scuole avevano iniziato a utilizzare un sistema di riconoscimento facciale per servire il pranzo agli studenti e altre 15 erano pronte a implementare la tecnologia, una misura che, a quanto pare, mirava a ridurre il rischio di trasmissione del COVID-19.

Sky News ha riferito che genitori e attivisti “hanno avvertito che il provvedimento normalizza l’esposizione dei bambini alla sorveglianza biometrica e hanno contestato di non essere sicuri che gli studenti siano adeguatamente informati sui rischi per la privacy”

Nonostante l’alto livello di consenso dei genitori, Sky News ha riferito che i difensori della privacy dei bambini , Jen Persson e Pippa King, hanno dichiarato al commissario scozzese per l’infanzia: “L’alta adesione non deve essere scambiata per consenso”, notando che i moduli di consenso forniti ai genitori facevano sembrare l’accettazione obbligatoria.

Tali reclami hanno portato l’Information Commissioner’s Office, l’organo di controllo dei dati del Regno Unito, a indagare. Il consiglio scozzese di North Ayrshire ha messo in pausa il lancio della tecnologia, mentre la Camera dei Lord britannica ha discusso la questione nel novembre 2021.

Greg Glaser, avvocato californiano che si occupa delle iniziative sulla privacy della Children Health Defense, ha dichiarato al Defender che “durante l’era Covidiana di maschere e chiusure, i genitori hanno assistito a una normalizzazione forzata delle aule Zoom, e che Zoom non era l’unica tecnologia che veniva imposta come normale sui giovani”.

Glaser ha aggiunto:

“Questo non è sorprendente nelle scuole pubbliche. La burocrazia non è organizzata per risolvere i problemi della società alla radice , ma per trattare solo i sintomi. Nulla migliorerà davvero nelle scuole pubbliche finché la società non deciderà di imparare la lezione più profonda, il motivo per cui i bambini falliscono in un sistema progettato per fallire. Perché il sistema è stato progettato per danneggiare i bambini?

Nel frattempo, l’industria educativa miliardaria che trae profitto dalla “lotta al fallimento” continuerà a offrire le sue presunte soluzioni. È tutto così logorante: si riconosce la truffa a un miglio di distanza”.

Preoccupazione per gli “effetti di compressione” delle tecnologie di riconoscimento facciale nelle scuole

Secondo il CDT, le tecnologie utilizzate “in nome della sicurezza degli studenti” presentano capacità per cui i responsabili dell’istruzione e i politici dovrebbero preoccuparsi.

Tra questi, la mancanza di efficacia e di accuratezza, come le limitazioni tecniche, i “falsi positivi” che potrebbero portare a “azioni disciplinari infondate” nei confronti degli studenti, nonché difficoltà di verifica di tali sistemi.

Un’altra serie di preoccupazioni, secondo il CDT, sono gli “effetti di compressione”. Secondo il CDT, “la presenza di vari strumenti tecnologici invasivi per la sicurezza come parte integrante dell’ambiente di apprendimento di uno studente può effettivamente far sentire gli studenti meno sicuri in classe.

“Un monitoraggio e una sorveglianza eccessivi possono ostacolare la parola, le associazioni, il movimento e l’accesso a risorse vitali”, ha dichiarato il CDT.

Queste preoccupazioni sono state espresse in un articolo del 2020 pubblicato su Learning, Media and Technology da Mark Andrejevic, Ph.D., e Neil Selwyn, Ph.D. della Monash University in Australia, secondo cui questa tecnologia può alterare “la natura delle scuole e della formazione scolastica lungo linee divisive, autoritarie e opprimenti”.

“La sfida principale che gli educatori si trovano ad affrontare è se esista o meno una prospettiva futura realistica di rimodellare in qualche modo queste tecnologie per scopi più benefici e/o benevoli. Oppure, si tratta di una forma di tecnologia digitale che non dovrebbe mai in nessuna forma essere applicata in “didattica”?”, hanno scritto gli autori.

Tim Hinchliffe, redattore di The Sociable, ha dichiarato a The Defender: “Il riconoscimento facciale nelle scuole serve a manipolare il comportamento e normalizza la sorveglianza totale fin dalla più tenera età”.

“In classe, il riconoscimento facciale insegna ai bambini che non hanno privacy e che qualsiasi cosa dicano o facciano può essere e verrà usata contro di loro. In questo modo è più facile per i governi e le corporation controllare le generazioni future, perché vengono cresciuti con l’idea che la privacy non esiste e che è meglio che facciano quello che gli viene detto, o altrimenti..!”, ha aggiunto.

Hinchliffe ha citato unservizio di “Good Morning America” del 2020 che ha mostrato un video di una classe online della scuola elementare di Parkland in Texas. Quando la connessione Zoom di un’insegnante di seconda elementare è caduta, gli studenti hanno fatto un po’ di confusione come al solito in un primo momento, prima di rendersi conto che la chiamata era ancora registrata.

“All’inizio i ragazzi hanno iniziato a fare confusione, ma quando uno studente si è reso conto di essere ancora registrato, tutti si sono conformati per paura di finire nei guai con il preside. È questa paura che la rende così potente e spinge i bambini a conformarsi”, ha detto.

Pin Lean Lau, Ph.D., della Brunel Law School di Londra, ha raccontato una conversazione con sua figlia che, alla domanda se fosse preoccupata per l’uso della tecnologia di riconoscimento facciale da parte della mensa nella sua scuola, ha risposto: “Non proprio. Però renderebbe le cose molto più veloci alla cassa”.

Secondo Lau, “le sue parole confermano la preoccupazione che i bambini siano molto meno consapevoli dei loro diritti sui dati rispetto agli adulti”.

“Su scala macro, una popolazione che sa di essere osservata modificherà il proprio comportamento per conformarsi alle norme e i cittadini si autosorveglieranno”, ha affermato Hinchliffe.

Il rapporto del CDT ha anche affrontato l’impatto potenzialmente sproporzionato di queste tecnologie nei confronti di categorie protette di studenti, la mancanza di risorse che molte scuole hanno per mantenere e aggiornare tali tecnologie, i meccanismi di governance poco chiari che supervisionano l’uso di queste tecnologie e i rischi per la privacy come la violazione dei dati.

Un hack del 2021 che ha colpito Verkada, uno sviluppatore di tecnologie di sicurezza basate su cloud ampiamente utilizzate nelle scuole, ha esposto pubblicamente i feed live delle telecamere di sorveglianza.

Irene Knapp, direttrice del settore tecnologico dell’organizzazione no-profit Internet Safety Labs, ha dichiarato a Education Week che le scuole devono valutare attentamente se vogliono assumersi la responsabilità di gestire e proteggere i dati biometrici degli studenti.

Knapp ha detto che è difficile sapere se i dati raccolti da queste tecnologie vengano condivisi con terze parti.

Secondo Education Week, “c’è anche il rischio reale di spingersi oltre”, in quanto le scuole sono “tentate” di utilizzare la tecnologia di sorveglianza come il riconoscimento facciale in modi che non erano stati originariamente previsti, “come ad esempio tracciare e multare i genitori che vanno a prendere i figli a scuola in ritardo”.

Molly Kleinman, Ph.D., direttore generale del programma Scienza, Tecnologia e Politiche Pubbliche dell’Università del Michigan, ha dichiarato a Route Fifty a settembre che, in assenza di norme, le scuole possono utilizzare tali tecnologie per “compiti di routine” o richiedere il riconoscimento facciale agli studenti per accedere ai computer e ai tablet di proprietà della scuola.

Secondo Hinchliffe, “anche se il riconoscimento facciale inizia all’ingresso delle scuole per verificare chi entra per i cosiddetti ‘motivi di sicurezza’, è solo questione di tempo prima che entri in classe, e quando lo farà, deruberà gli studenti di un’altra parte della loro infanzia, e ai bambini non sarà più permesso di essere tali”.

“Dal punto di vista della legge sulla privacy, le scuole statali di sorveglianza si espongono a responsabilità potenzialmente a molti livelli, poiché le loro procedure di opt-in, se esistono, non riusciranno a coprire la realtà di ciò che loro e i loro partner delle corporation stanno facendo”, ha affermato Glaser.

“Basta una sola violazione dei dati per far scattare l’obbligo di notifica ai genitori”, ha detto Glaser. “E quando le procedure di sicurezza non vengono rispettate, ciò significa azioni legali. O almeno, è così che il sistema progettato per fallire fallirà”.

Queste preoccupazioni non sono nuove. Già nel 2019, la rivista Wired si era occupata della “delicata etica” dell’implementazione delle tecnologie AI in classe.

New York mise al bando le tecnologie di riconoscimento facciale nelle aule scolastiche

Sono state queste “serie preoccupazioni sull’uso della tecnologia di riconoscimento facciale”, che “non superi i suoi presunti benefici”, a indurre lo Stato di New York a vietare tali tecnologie a settembre, vietando alle scuole “di acquistare o utilizzare la tecnologia di riconoscimento facciale”.

Questa decisione è stata presa dopo il completamento di un’analisi da parte dell’Ufficio dei servizi informatici e sulla base di una ricerca derivata dai dati raccolti dall’organizzazione no-profit The Violence Prevention Project, che ha rilevato che il 70% degli autori di sparatorie nelle scuole tra il 1980 e il 2019 erano studenti delle scuole stesse.

Uno studio del 2020 dell’Università del Michigan sulla tecnologia di riconoscimento facciale e il suo impatto in classe ha anche potenzialmente influenzato la decisione di New York di vietarla.

Secondo lo studio, la tecnologia di riconoscimento facciale “avrà probabilmente cinque tipi di implicazioni: esacerbare il razzismo, normalizzare la sorveglianza ed erodere la privacy, restringere la definizione di studente ‘accettabile’, mercificare i dati e istituzionalizzare l’approssimazione”.

“Dato che il riconoscimento facciale o FR [facial recognition] è automatizzato, estenderà questi effetti a un numero maggiore di studenti rispetto a quanto potrebbe fare un sistema manuale”, aggiunge lo studio. “Sulla base di questa analisi, raccomandiamo vivamente di vietare l’uso dell’FR nelle scuole”.

Lo studio ha inoltre formulato un’ampia gamma di raccomandazioni nazionali e locali per le scuole che intendono continuare a utilizzare tali tecnologie. Raccomandazioni simili sono state formulate dal CDT nel suo rapporto del 12 dicembre.

Nel 2019, Vox ha notato che le scuole “utilizzano sempre più spesso il riconoscimento facciale per cercare di porre fine alle sparatorie“, ma ha sostenuto che “dovrebbero pensarci due volte” se continuare questa pratica.

I distretti scolastici possono ancora scegliere di utilizzare altri tipi di tecnologie biometriche, come le impronte digitali, secondo la nuova politica di New York.

Questo avviene nonostante le “immense pressioni” che gli amministratori scolastici devono affrontare per proteggere le loro scuole dalla violenza delle armi e dal pericolo di sparatorie, secondo Education Week, che ha osservato che le tecnologie di riconoscimento facciale e delle armi alimentate dall’IA “possono essere una soluzione allettante per i consigli scolastici e i sovrintendenti che cercano di rassicurare i genitori”.

Secondo la rivista Time, New York ha attuato una moratoria sul riconoscimento facciale dopo che i genitori hanno contestato legalmente l’adozione di questa tecnologia da parte del Lockport Central School District nel gennaio 2020.

“Il distretto occidentale di New York è stato tra i primi nel Paese a incorporare la tecnologia, all’indomani delle sparatorie di massa che hanno portato gli amministratori di tutta la nazione ad adottare misure di sicurezza che vanno dai vetri antiproiettile alle guardie armate”, riporta il Time.

Nel 2020, due scuole superiori in Francia che hanno sperimentato la tecnologia di riconoscimento facciale sono state citate in giudizio, portando a una decisione del tribunale amministrativo che ha vietato la pratica.

Secondo la decisione, l’implementazione della tecnologia “non era né proporzionata né necessaria”, il consenso degli studenti non era stato ottenuto liberamente e si sarebbero potute adottare misure meno invasive per la privacy.

Altrove, tuttavia, la diffusione di queste tecnologie continua. Ad agosto, Philadelphia ha annunciato l’introduzione di droni di proprietà del distretto “per pattugliare le aree a rischio di violenza senza bisogno della polizia a terra”.

Biometric Update ha riferito nell’ottobre 2022 che le scuole del Montana stanno utilizzando la tecnologia di riconoscimento facciale di Verkada “nel tentativo di migliorare la sicurezza“. Il distretto scolastico di Sun River Valley, per esempio, alimenta il suo sistema di riconoscimento facciale con “una lista di sorveglianza del dipartimento dello sceriffo locale, oltre che con le foto dell’annuario degli studenti”.

Secondo Hinchliffe, la Cina sta espandendo le capacità di riconoscimento facciale nelle sue scuole “con l’intelligenza artificiale e gli indossabili, per includere il riconoscimento delle emozioni e altri aspetti comportamentali, in modo da poter capire quando un bambino è arrabbiato o non sta prestando attenzione”.

“Ancora una volta, il riconoscimento facciale nelle scuole serve a manipolare e controllare il comportamento instillando la paura nel bambino”, ha detto Hinchliffe.

L’avvocato Richard Jaffe ha dichiarato al Defender che c’è spazio per il riconoscimento facciale nelle scuole.

“La privacy, come tutti i diritti, non è assoluta e deve cedere il passo… al diritto degli studenti di essere sicuri”.

“Ritengo che la maggior parte dei genitori e quasi tutti gli insegnanti e il personale accetteranno alcune violazioni relativamente minori della privacy per aumentare la sicurezza delle scuole. A meno che non si voglia chiudere ogni scuola e sorvegliarla con un plotone di poliziotti SWAT armati di M16, la soluzione deve coinvolgere la tecnologia e sempre più l’intelligenza artificiale e il riconoscimento facciale”, ha dichiarato.

“La maggior parte accetterà questo compromesso e dubito fortemente che i tribunali giudicheranno i distretti scolastici che utilizzano le misure attualmente disponibili”, ha aggiunto Jaffe.

Anche Forbes, in un articolo del febbraio 2023, vede un posto per le tecnologie di riconoscimento facciale nelle scuole, definendole “tecnologie intelligenti” ma notando la loro “cattiva, cattiva, cattiva implementazione” e sostenendo che ci sono “ostacoli da superare prima che il riconoscimento facciale possa essere utilizzato”.

Questi ostacoli includono “la ricerca dell’impatto sul benessere e sull’etica dell’uso della biometrica nelle scuole”, la garanzia che tali sistemi “operativamente rispettino i più alti livelli di protezione dei diritti” e che il loro uso sia “pienamente legale” senza “conseguenze indesiderate”.