L'illusione dell'interfaccia

La finestra di dialogo più pericolosa della vostra azienda è anche la più facile da usare. Ha un pulsante grande, un testo chiaro, colori rassicuranti. Chiede «Consenti?» e aspetta. Chi lavora davanti a uno schermo la vede comparire decine di volte al giorno, a volte cento, e ogni volta il gesto si fa più rapido, più automatico, più vicino a un riflesso che a una decisione. Un'interfaccia così, per quanto ben disegnata, ha smesso di proteggere chi la usa e si limita ad allenarlo a dire sì.

Parto da qui perché tutto il resto del libro poggia su questa osservazione. Una serie continua di conferme non costruisce prudenza, costruisce abitudine. Ogni «Consenti?» che non ha conseguenze visibili insegna al cervello che la domanda è una formalità. Quando poi arriva la richiesta che conta davvero, quella che autorizza un agente a inviare dati fuori dall'azienda, a firmare un ordine, a cancellare un archivio, il dito è già partito.

Le azioni esterne che non si possono annullare meritano un trattamento diverso. Serve un vero cancello di approvazione, pensato per fermare il flusso e costringere a guardare, oppure un secondo agente che faccia da guardiano e controlli indipendentemente ciò che il primo sta per fare. Una sequenza di finestre «Consenti?» non è né l'una né l'altra cosa. È un rito, e i riti si eseguono senza pensarci.

Da dove nasce questo allarme

Lavoro sull'intelligenza artificiale e sulle applicazioni agentiche da anni. Ci ho fatto un dottorato, e oggi mi occupo di cybersecurity. Questa doppia appartenenza mi ha messo in una posizione scomoda: vedo l'entusiasmo di chi progetta e adotta questi strumenti, e allo stesso tempo vedo le porte che quell'entusiasmo lascia aperte.

La scena che mi è capitato di osservare più spesso è sempre la stessa, con piccole varianti. Una persona competente, attenta, magari con anni di esperienza in azienda, tratta un agente AI come tratterebbe un foglio di calcolo o un gestionale. Gli concede l'accesso alla posta, ai documenti condivisi, al calendario, a volte ai sistemi di pagamento, con la stessa leggerezza con cui installerebbe un aggiornamento del sistema operativo. Lo fa perché per trent'anni il software è stato questo: uno strumento che esegue ciò che gli si chiede, sempre allo stesso modo, finché qualcuno non lo modifica.

Gli agenti non funzionano così. Il software sta diventando una parte attiva di ciò che succede sui nostri schermi: legge situazioni, prende iniziative, decide quando agire. Continuare a trattarlo come un programma stabile significa applicare a una realtà nuova un modello mentale vecchio. E i modelli mentali vecchi, in sicurezza informatica, sono esattamente il punto da cui entrano gli attacchi.

Il paradosso degli strumenti scomodi

A questo punto qualcuno obietta, e l'obiezione merita rispetto. Se il problema è che le persone concedono troppi permessi senza pensarci, basterebbe progettare interfacce migliori. Più chiare, più trasparenti, più usabili. Una buona usabilità, si dice, significa maggiore controllo: l'utente capisce cosa sta facendo, e quindi decide meglio.

Vale la pena guardare come stanno le cose oggi, prima di accettare questa equazione.

Molti strumenti AI attuali sono tutt'altro che comodi. Si basano su interfacce testuali in cui bisogna scrivere richieste, riformularle, aggiustarle per tentativi. Jakob Nielsen, che di usabilità si occupa da decenni, le ha definite apertamente goffe e lontane dall'essere amichevoli per l'utente. Il fatto stesso che sia nata una disciplina chiamata «prompt engineering» è un sintomo: quando per usare uno strumento serve un'abilità specialistica con un nome tutto suo, quello strumento ha un problema di usabilità.

Eppure questi strumenti si diffondono a una velocità impressionante. Nielsen individua la ragione in una formula che trovo illuminante: l'utilità superiore dell'AI riesce a vincere la sua scarsa usabilità. Le persone sopportano interfacce faticose perché il risultato vale la fatica. Scrivono e riscrivono il prompt perché alla fine ottengono in dieci minuti ciò che prima richiedeva una giornata.

Questo ha avuto una conseguenza precisa sul modo in cui si progetta. Molti progetti hanno smesso di chiedersi di cosa abbia bisogno chi li usa. Se lo strumento funziona e la gente lo adotta comunque, perché investire nello studio degli utenti? L'utilità copre tutto.

Che cosa succede quando l'interfaccia migliora

Ora seguite il ragionamento fino in fondo. Oggi la scomodità dell'interfaccia funziona, involontariamente, come un freno. Chi deve scrivere un prompt elaborato è costretto a pensare a cosa sta chiedendo. Chi deve correggere un risultato sbagliato vede, di volta in volta, che lo strumento sbaglia. La fatica tiene sveglia l'attenzione.

Togliete quella fatica. Rendete l'interfaccia fluida, elegante, con pulsanti chiari e flussi guidati. L'utilità resta intatta, anzi aumenta, ma il freno sparisce. Nessuno è più costretto a fermarsi. La finestra «Consenti?» diventa bellissima e la si clicca ancora più in fretta.

Ecco perché non credo all'equazione tra usabilità e controllo, almeno non nella forma in cui viene proposta di solito. Un'usabilità migliore, da sola, non porta più controllo: rimuove un ostacolo, e insieme all'ostacolo rimuove l'unico momento in cui l'utente si fermava a riflettere. Non sto dicendo che dobbiamo progettare interfacce scomode per tenere le persone sul chi vive. Sarebbe assurdo. Sto dicendo che, se togliamo la fatica, dobbiamo mettere qualcos'altro al suo posto, e quel qualcos'altro deve essere progettato apposta: cancelli di approvazione veri, verifiche indipendenti, processi rimappati. È il lavoro che faremo nei prossimi capitoli.

Prima e dopo: due modi di concedere un permesso

Per rendere concreto il punto, provate a confrontare due scene. Sono ipotetiche, ma chi lavora in azienda le riconoscerà.

Prima. Immaginate Giulia, che lavora nell'amministrazione e usa un assistente AI basato su prompt. Per fargli preparare un riepilogo delle fatture deve caricare i file a mano, scrivere cosa vuole, controllare il risultato, accorgersi che ha confuso due fornitori, correggerlo. È lenta, è irritata, ma alla fine sa esattamente cosa l'assistente ha visto e cosa ha prodotto, perché ha toccato tutto lei.

Dopo. Sei mesi più tardi lo stesso fornitore rilascia una versione agentica, con un'interfaccia splendida. Un pulsante propone di collegare direttamente la casella di posta e il gestionale, così l'agente potrà occuparsi delle fatture in autonomia. Compare una finestra con un elenco di permessi scritto in modo chiaro. Giulia clicca «Consenti» in tre secondi. Da quel momento l'agente legge, archivia, risponde, e Giulia non sa più con precisione cosa veda e cosa faccia.

La seconda esperienza è migliore sotto ogni aspetto misurabile dell'usabilità: meno passaggi, meno errori dell'utente, meno frustrazione. Dal punto di vista della sicurezza è molto peggiore, e nessuno, in quella scena, ha fatto qualcosa di sbagliato secondo le regole che conosceva.

Clippy aveva l'iniziativa, non la competenza

Chi ha qualche anno di esperienza ricorderà Clippy, la graffetta animata che nel 1997 cominciò a comparire in Office. Si affacciava mentre scrivevi e ti diceva, con entusiasmo fuori luogo, che sembrava stessi scrivendo una lettera. Il software che prende l'iniziativa, quindi, non è un'invenzione recente.

Clippy però era innocuo, e il motivo è istruttivo. Aveva iniziativa senza competenza. Interrompeva, suggeriva, ma non sapeva fare nulla di utile, e per questo tutti impararono presto a ignorarlo. Era un fastidio, e un fastidio non è un rischio: nessuno concede le chiavi di casa a un ospite che trova irritante.

Gli agenti di oggi hanno tutte e due le cose. Prendono l'iniziativa e sono competenti: scrivono testi credibili, gestiscono procedure articolate, portano a termine lavori che prima richiedevano una persona. È esattamente questa combinazione a renderli preziosi, ed è la stessa combinazione a renderli pericolosi. Un software che sa fare molto e che decide da solo quando farlo è un software a cui le persone vogliono dare accesso, perché ripaga quell'accesso con risultati veri. La fiducia, in questo caso, è meritata quasi sempre. Il problema è quel «quasi».

Un errore comune da evitare subito

L'errore che vedo più spesso nelle aziende è valutare un agente come si valuterebbe un fornitore di software tradizionale: si controlla la reputazione del produttore, si leggono le certificazioni, si fa una prova di qualche giorno, e se tutto va bene lo si adotta. Questo metodo funziona per un programma che si comporta ogni giorno allo stesso modo. Con un sistema che interpreta le situazioni e sceglie come reagire, una prova andata bene ci dice come si è comportato in quei giorni, con quei dati, davanti a quelle richieste. Non ci dice molto di come si comporterà davanti alla situazione strana che arriverà tra tre mesi.

Il vuoto nella ricerca

C'è un ultimo elemento che rende la situazione più delicata di quanto sembri, e riguarda ciò che sappiamo, o meglio ciò che non sappiamo.

Gran parte degli studi seri su come le persone lavorano con gli strumenti AI li hanno condotti economisti, non ricercatori di esperienza utente. Nielsen lo ha fatto notare con un certo rammarico, e ha ragione. Gli economisti misurano ciò che sanno misurare: quanto aumenta la produttività, quanto si accorciano i tempi, quanto migliora la qualità media del lavoro consegnato. Sono numeri importanti e li prendo sul serio.

Questi studi però lasciano scoperta proprio la domanda che interessa a chi si occupa di sicurezza. Sappiamo che con l'AI si lavora più in fretta. Sappiamo molto meno di come il design di un'interfaccia orienti la fiducia, di quando un utente smette di controllare, di quale disposizione di pulsanti e messaggi lo spinga a concedere un permesso senza leggerlo. Abbiamo misure di produttività e pochissimi elementi qualitativi per capire il comportamento che sta dietro quelle misure.

Il risultato è che progettiamo e adottiamo agenti quasi alla cieca su un punto decisivo. Le decisioni sui permessi vengono prese da persone che non sanno quanto il design stia lavorando su di loro, dentro interfacce costruite da team che spesso non hanno mai studiato come quelle interfacce cambino il giudizio di chi le usa.

Che cosa portarsi via da questo capitolo

• Una finestra «Consenti?» chiara e ripetuta molte volte allena all'accettazione automatica. La sua eleganza peggiora il problema invece di risolverlo.
• Le azioni esterne e irreversibili richiedono un cancello di approvazione vero o un secondo agente che faccia da guardiano, non l'ennesima conferma.
• Gli strumenti AI si diffondono anche quando sono scomodi, perché la loro utilità supera la scarsa usabilità. La scomodità, oggi, funziona come un freno involontario.
• Migliorare l'interfaccia senza aggiungere controlli progettati apposta toglie quel freno e lascia solo l'utilità. La prudenza sparisce con la fatica.
• Gli agenti di oggi uniscono iniziativa e competenza: per questo meritano fiducia quasi sempre, e per questo quel «quasi» va gestito.
• Sappiamo molto sulla produttività con l'AI e poco su come il design orienti la fiducia. Chi decide i permessi lavora con questo punto cieco.

Le due domande che guidano il libro

Se dovessi riassumere in poche parole il motivo per cui ho scritto queste pagine, userei due domande. Le ho fatte a molti responsabili di sicurezza, a molti designer e a molti dirigenti, e raramente ho ricevuto una risposta precisa.

La prima è: chi decide cosa può fare un agente? Chi stabilisce, in concreto, a quali dati accede, quali azioni compie da solo e quali deve sottoporre a qualcuno? Nella maggior parte delle aziende la risposta onesta è che lo decide chiunque abbia cliccato «Consenti» quel giorno, dentro un'interfaccia progettata per rendere quel clic il più rapido possibile.

La seconda è: chi se ne accorge quando sbaglia? Un agente che lavora in autonomia commetterà errori. Alcuni saranno evidenti, altri silenziosi. Chi li vede, con quali strumenti, e con quale ritardo?

Il resto del libro prova a rispondere. Prima guarderemo da vicino come sono cambiati gli agenti, dal semplice botta e risposta ai sistemi che restano attivi per giorni e decidono da soli quando intervenire, perché senza capire questa trasformazione ogni misura di sicurezza resta un tentativo al buio. Poi passeremo al metodo: come rimappare i processi aziendali sul campo, con un approccio Zero Trust che parte dal non fidarsi del software, e come costruire una governance che tenga insieme usabilità e sicurezza senza sacrificare l'una all'altra.

Per ora vi chiedo solo una cosa. La prossima volta che vedete comparire una finestra che vi chiede il permesso di collegare un agente a qualcosa di importante, contate fino a cinque prima di cliccare, e chiedetevi chi, in azienda, sarebbe in grado di accorgersi se quella decisione si rivelasse sbagliata.