Gli AI detector non sono un giudice: cosa valutare al loro posto

Chi corregge elaborati, valuta candidature o riceve relazioni da colleghi prima o poi si fa la stessa domanda: questo testo l'ha scritto una persona o un modello? E la tentazione è affidare la risposta a uno strumento che promette di darla in un secondo, con tanto di percentuale.

Ho voluto vedere quanto regge quella percentuale. Ho passato a GPTZero un mio articolo di 800 parole: 100% umano. Fin qui tutto bene. Poi ho inserito alcuni articoli della Costituzione italiana, così come sono, senza modifiche: diversi sono stati classificati come "probabilmente generati da IA", con una confidenza del 65%. Un testo del 1947.

Da lì ho cominciato a scavare, e la domanda è cambiata: quante decisioni importanti si stanno prendendo su un giudizio così fragile?

Cosa misura davvero un detector

Un detector non legge un testo come farebbe un lettore esperto. Cerca pattern statistici: la densità di parole rare, la presenza di elenchi numerati o puntati, la lunghezza media delle frasi, la frequenza di connettivi come "in conclusione" o "pertanto".

Quando un testo rispecchia questi schemi, la probabilità di "provenienza IA" sale, chiunque l'abbia scritto. Quando invece il testo è colloquiale, con frasi brevi e una voce personale, la probabilità scende, anche se l'ha prodotto un modello.

In altre parole: il detector giudica la forma, non l'origine. Ed è esattamente per questo che la Costituzione, con il suo linguaggio formale e le sue frasi lunghe e regolari, finisce tra i sospetti.

Gli esperimenti che mi hanno convinto

Nei miei test, su testi generati con ChatGPT, Claude e Gemini e su testi scritti da me o da colleghi, falsi positivi (testi umani segnalati come IA) e falsi negativi (testi IA riconosciuti come umani) hanno superato spesso il 30%.

Il confronto più istruttivo è stato su due versioni dello stesso breve saggio, con la stessa sostanza:

| Versione | Stile | Risultato GPTZero | |----------|-------|-------------------| | A | Formale, numerazione "1., 2., 3.", frasi lunghe | 78% IA | | B | Colloquiale, "ti racconto", frasi brevi | 12% IA |

Cambia solo il registro, e il verdetto si ribalta. Ho fatto anche la prova inversa: un testo generato da un modello, valutato inizialmente al 92% IA, dopo qualche intervento di stile (prima persona, ritmo più irregolare, qualche domanda rivolta al lettore) è sceso al 7%.

Non lo racconto per insegnare a "battere" il detector. Lo racconto perché dimostra il punto: se bastano pochi minuti di ritocchi per spostare il risultato di ottanta punti, quel risultato non può reggere una decisione.

Perché è un problema per chi valuta

Le conseguenze pratiche vanno in due direzioni, entrambe scomode:

• Chi scrive in modo formale e ordinato viene penalizzato. Proprio lo stile che spesso chiediamo in un elaborato, in una relazione tecnica o in un atto è quello che il detector scambia per macchina. Il rischio è un'accusa infondata a chi ha lavorato bene.
• Chi usa l'IA con un minimo di accortezza passa indisturbato. Il controllo ferma gli ingenui e lascia passare gli altri.

Se un'organizzazione, una scuola o un ente adotta il detector come unico filtro, ottiene un clima di sospetto, autocensura e nessuna garanzia reale. È una caccia alle streghe con un'apparenza di oggettività.

Cosa uso al posto del detector

Le linee guida a cui sono arrivato non cercano di stabilire chi ha scritto il testo. Spostano la domanda su qualcosa che si può verificare davvero.

1. Valutare la qualità, non la provenienza. Invece di chiedermi "l'ha scritto un umano?", mi chiedo: il contenuto è accurato, pertinente, ben argomentato? È una domanda a cui so rispondere con la mia competenza, senza delegarla a un punteggio.

2. Chiedere (e praticare) la traccia di processo. Quando un testo viene pubblicato o consegnato, annoto in breve come ho usato l'IA: quali richieste ho fatto, quali parti ho riscritto, quali revisioni ho applicato. È un gesto di trasparenza che aumenta la fiducia di chi legge, e funziona molto meglio di qualunque rilevatore perché rende esplicito ciò che il detector prova, male, a indovinare.

3. Trattare l'IA come un partner, non come un sostituto. Il modello può proporre idee e strutture, ma la revisione finale resta di chi firma. È questo, non l'assenza di IA, il requisito che conta.

4. Premiare la trasparenza invece di temere lo smascheramento. Una cultura sana è quella in cui dichiarare l'uso dell'IA è normale e documentato, non quella in cui si ha paura di essere "scoperti" da uno strumento che sbaglia così spesso.

In sintesi

Gli AI detector, nella forma attuale, sono più una curiosità tecnica che uno strumento decisionale. Hanno tassi di errore alti, si basano su pattern facili da manipolare e inciampano persino su testi storici. Usarli per giudizi accademici o professionali significa scaricare su un algoritmo una responsabilità che resta nostra.

La prossima volta che hai davanti un testo sospetto, prova a fare a meno della percentuale: chiedi come è stato prodotto, e valutalo per quello che dice.