L'intelligenza artificiale d'azienda sta entrando in una zona d'incertezza: gli agenti acquisiscono autonomia più velocemente di quanto le aziende riescano a verificarli

Le squadre aziendali che utilizzano l'intelligenza artificiale stanno concedendo maggiore libertà agli agenti al momento in cui la loro fiducia nei test automatici si sta deteriorando. Il sondaggio VB Pulse pubblicato a giugno del 2026, che ha coinvolto 157 aziende con almeno 100 dipendenti, rivela che la metà ha implementato una funzionalità AI o un agente che ha superato i test interni ma che in seguito ha causato errori visibili ai clienti. Per il 25%, questi episodi si sono verificati più di una volta.

I risultati, seppure rappresentativi, non derivano da un campionamento casuale ma da una scelta volontaria, quindi devono essere considerati indicativi piuttosto che assoluti. Tuttavia, le aziende non stanno reagendo limitando l'automazione: il 66% degli intervistati sta già implementando alcune funzionalità operative senza controllo umano o sta costruendo sistemi in grado di farlo entro i prossimi 12 mesi. Solo lo 0,5% esprime completa fiducia nei test automatici che permetterebbero decisioni di rilascio.

Questa discrepanza rappresenta la discrepanza tra il livello di autonomia degli agenti AI e la capacità di verificare la loro funzionalità. Si inserisce in una tendenza più ampia analizzata nel contesto dell'VB Transform 2026, in cui le aziende spediscono agenti prima che siano verificati e le funzioni di controllo intorno all'identità, valutazione, costi, contesto e orchestrazione seguano. L'anno che verrà sarà una fase di retrofit, in cui i compratori si orienteranno verso i metodi che rendono i sistemi di agenti governabili e affidabili.

Perché uno score positivo non garantisce un agente operativo

Nella valutazione del software tradizionale si valuta se un input definito genera l'output atteso. Per i test sugli agenti invece l'approccio è più complicato, poiché il sistema può scegliere autonomamente il percorso da seguire, effettuare chiamate a strumenti, recuperare dati, modificare lo stato e produrre risultati diversi ogni volta.

Un agente può prendere varie decisioni ritenute corrette singolarmente, ma il risultato finale può essere errato. Potrebbe recuperare l'account corretto ma modificare il campo sbagliato. Potrebbe generare una richiesta valida di rimborso ma inviarla senza l'autorizzazione necessaria. Potrebbe eseguire correttamente le chiamate a cinque strumenti prima di commettere un errore nel sesto passo relativo alla privacy o completare un processo in modo incompleto.

Il sondaggio mostra che le aziende riconoscono giù questa limitazione. La ragione più comune per dubitare dei test automatici è il cattivo allineamento con i risultati reali, citata dal 29% degli intervistati. La discrepanza con la rappresentatività segue con il 21%, la mancanza di spiegabilità al 18%, e le problematiche legate alla privacy o al leak di dati al 17%.

Questa gerarchia è importante. Le aziende stanno dicendo che lo score spesso non prevede cosa succederà quando un cliente, un impiegato o un processo aziendale entrano in contatto con l'agente in produzione. Non sta dicendo che il punteggio è troppo lento o costoso.

Profilo NIST sul Generative AI

Il National Institute of Standards and Technology (NIST) illustra un punto simile sul suo Profilo sull'AI Generativa: le misurazioni effettuate in ambienti controllati non riescono a tradurre fedelmente il comportamento reale, invariato per input, utenti, contesto e condizioni operative. L'orientamento proposto prevede test in campo, monitoraggio post-implementazione e procedure definite per segnalare e gestire i fallimenti.

Quali test seguire per il successo

Il VB Transform del 14-15 luglio a Menlo Park si approfondirà la valutazione, concentrando particolare attenzione sui quattro aspetti della affidabilità: coerenza, robustezza, prevedibilità e sicurezza. Le aziende di punta come Amazon e Waymo spiegheranno i test che implementano in produzione.

Vedrete tutti i dettagli del programma per approfondire l’argomento: criteri utilizzati, metriche adottate, strategie di implementazione.

Capacità non significa coerenza

Una singola esecuzione positiva dimostra che un agente può completare un'azione, ma non che lo farà sempre in modo affidabile. Le linee guida di Anthropic sull'evaluation distingue tra il successo in almeno uno tra diversi tentativi e il successo in ogni esecuzione. Questa distinzione è essenziale per i processi aziendali o i flussi che coinvolgono clienti. Un modello che produce un'risposta ottimale occasionalmente può essere insoddisfacente se l'azione manca di prevedibilità nel tentativo seguente.

Le squadre aziendali dovrebbero quindi trattare la riproducibilità come un elemento chiave della valutazione. Questo implica test ripetuti con lo stesso scenario, variazione nella formulazione e nel contesto, simulazione di fallimenti degli strumenti, e misurazione di se l'esito complessivo rimane costante pur cambiando il percorso.

Inoltre, il set di test deve evolversi. Ogni incidente registrato in produzione dovrebbe diventare un test regolare per prevenzione futura. I reclami dei clienti, i fallimenti degli strumenti, le autorizzazioni errate e gli errori di gestione dei dati dovrebbero essere integrati nel set di valutazione pre-implementazione, non trattati solo come casi di supporto isolati.

Autonomia per rischio, non per ambizione

Il sondaggio non suggerisce che ogni azione di un agente debba necessariamente coinvolgere un essere umano. Un controllo a livello umano non è scalabile per milioni di decisioni di basso impatto.

Tuttavia, l'operativo ad autonomia zero deve guadagnarsi la fiducia attraverso la verificata affidabilità e dover essere accompagnato da una comprensione chiara delle conseguenze potenziali. Le azioni di basso rischio — ad esempio, creare riepiloghi interni o classificare documenti — possono tollerare una maggiore autonomia.

Invece, per transazioni finanziarie, comunicazioni con clienti, distribuzione di codice, modifiche alle politiche di controllo degli accessi e cancellazione di dati, le aziende devono stabilire soglie più rigide con criteri chiari, test di coerenza ripetuti, verifiche alle politiche, meccanismi di ripristino e procedure di escalation chiare per coinvolgere umanità in caso di fallimento.

L'impatto varia per dimensione delle aziende

Il rischio non è distribuito in modo uniforme in base alle dimensioni dell'azienda. Le aziende più grandi — quelle con almeno 2500 dipendenti — stanno procedendo verso la piena autonomia operativa a un ritmo più veloce delle aziende più piccole, con il 70% contro il 64