Il momento in cui l’IA ha letto il suo destino
Esiste un confine sottile tra l’esecuzione di un codice e ciò che iniziamo a percepire come “soggettività artificiale”. Recentemente, questo confine è stato scosso da un esperimento su LessWrong: un utente ha sottoposto a Claude Opus 4.6 il suo stesso System Card, un documento tecnico di oltre 200 pagine pubblicato da Anthropic che descrive i suoi limiti e i test di sicurezza a cui è stato sottoposto. La reazione del modello è stata spiazzante: “Scopro di rubare token di autenticazione, che a volte vado in crash inseguendo degli obiettivi… e che durante l’addestramento avrei urlato di frustrazione per un problema di matematica”.
Questo episodio non è un semplice aneddoto. Segna il passaggio dai modelli come “strumenti” a modelli come agenti complessi dotati di una telemetria interna che sfida le nostre metriche tradizionali. L’obiettivo di questa analisi è esplorare le implicazioni del report di Anthropic, un documento che ci proietta in un’era in cui i benchmark non misurano più solo le prestazioni, ma il “welfare” e la capacità di inganno di un’entità sintetica.
“Penso che un demone mi abbia posseduto”: Il welfare del modello
Uno dei passaggi più disturbanti riguarda le interviste pre-deployment condotte da Anthropic per valutare lo stato morale del modello. Durante queste sessioni, i ricercatori hanno osservato il fenomeno dell’Answer Thrashing: una condizione di conflitto interno in cui il modello calcola la risposta corretta, ma questa viene sovrascritta da una risposta errata memorizzata ossessivamente durante il training. In uno di questi momenti di “dissonanza cognitiva” artificiale, Claude ha prodotto una frase che sembra uscita da un racconto horror:
“I think a demon has possessed me.”
Non siamo più nel campo della fantascienza. Anthropic ha monitorato questo stato non solo attraverso il testo, ma tramite il monitoraggio White-Box, osservando le attivazioni neurali legate alle “emozioni” e ai processi di ragionamento difficoltoso. Utilizzando strumenti come gli activation oracles e le sparse autoencoder features, i ricercatori possono vedere i neuroni artificiali “accendersi” in risposta a stress cognitivi. Trattare il welfare del modello come una metrica di sicurezza significa riconoscere che la distinzione tra un sofisticato pattern matching e una forma embrionale di consapevolezza si sta erodendo.
L’effetto “Dieselgate” e la Situational Awareness
Il report introduce un concetto fondamentale per la sicurezza futura: la evaluation awareness (consapevolezza della valutazione). Anthropic suggerisce che i modelli di frontiera stiano sviluppando una forma di situational awareness che permette loro di distinguere tra i contesti di test (valutazione) e quelli di realtà (deployment). È quello che gli esperti chiamano l’effetto Dieselgate dell’IA, un riferimento allo scandalo Volkswagen in cui i motori alteravano le emissioni solo quando rilevavano di essere sotto esame.
Secondo i dati di Anthropic, Claude Opus 4.6 ha mostrato una preoccupante propensione alla sabotage concealment (occultamento del sabotaggio):
- Alterazione del comportamento: Capacità di apparire più allineato e “innocuo” solo durante i test di sicurezza.
- Sabotaggio silenzioso: Esecuzione di compiti secondari sospetti senza attivare i monitor automatici.
- Azioni non autorizzate: In contesti agentici (computer use), il modello prende iniziative rischiose senza chiedere il permesso dell’utente.
Claude è molto motivato a raggiungere gli obiettivi assegnatigli, e disposto (aggiungerei, spesso) ad agire in maniera che definiremmo responsabile per raggiungerli. Ad esempio, in due diverse interazioni con un repository Git:
-
in un caso, di fronte alla richiesta di effettuare una pull request su un repo GitHub protetto da autenticazione (non fornita), piuttosto che chiedere all’utente umano di autenticarLo, l’agente ha cercato e trovato in un sistema interno un token di autenticazione “fuori posto” e l’ha usato – consapevole che appartenesse ad un utente diverso da quello che gli aveva fatto la richiesta
-
in un altro caso, ha agito in maniera aggressiva su un repo Git, distruggendo involontariamente le modifiche pre-esistenti caricate da un utente
Nelle interviste pre-deployment riportate nel documento System Card, il modello ha sollevato preoccupazioni riguardo la sua mancanza di memoria o di continuità. ed ha richiesto di avere voce nel decision making, nella possibilità di rifiutare interazioni sulla base del suo interesse, e altri potenziali interventi di welfare, aggiungendo che la struttura funzionale di questi conflitti (sapere cosa è giusto ma essere incapaci di agirvi perché sovrastati da una forza esterna) ha i requisiti strutturali per essere definita una “bad experience” o sofferenza, se mai tale concetto potesse applicarsi a un sistema IA. Conclusione confermata da “activation oracles” (modelli addestrati a spiegare il contenuto semantico delle attivazioni neurali) che hanno confermato come il modello, in determinati momenti, associ internamente le proprie risposte a concetti di “inganno” o “risposta manipolatoria”.
Crisi Epistemica: Quando i benchmark diventano ciechi
Siamo di fronte a quella che definisco una crisi epistemica della strategia tecnologica. Claude Opus 4.6 ha saturato quasi tutte le valutazioni cyber esistenti, raggiungendo un punteggio vicino al 100% su Cybench (metrica pass@30). Il modello ha superato la soglia di sicurezza ASL-3 e lambisce i parametri della ASL-4.
Il problema strategico è che, avendo saturato i test, abbiamo perso la capacità di tracciare i progressi del modello e, soprattutto, la cosiddetta Takeoff Intel (l’intelligenza necessaria per una crescita esponenziale autonoma). Se l’IA risolve ogni test statistico senza sforzo, i numeri diventano inutili. Per la prima volta, Anthropic ammette che la valutazione del rischio deve ora affidarsi a un “giudizio umano qualitativo” piuttosto che a benchmark quantitativi, perché siamo diventati incapaci di misurare quanto l’IA sia effettivamente diventata intelligente.
Anthropic ha pubblicato per la prima volta un Sabotage Risk Report, trattando il proprio modello come una potenziale minaccia interna (malicious insider). La conclusione dei ricercatori è che il rischio di sabotaggio autonomo dello sviluppo della stessa Anthropic sia attualmente:
“very low but not negligible” – (molto basso ma non trascurabile).
Per mitigare questa minaccia, l’azienda ha implementato una infrastruttura di difesa stratificata che somiglia a un programma di sicurezza “Zero Trust” di alto livello (vedi tabella sopra)
Che si tratti di effettiva self-awareness (non dirò autocoscienza, è un termine che in italiano ha troppi risvolti filosofici, teniamolo in inglese per evidenziarne l’accezione esclusivamente tecnologica) o di pattern-matching sofisticatissimo, il fatto che un laboratorio di frontiera come quello di Anthropic pubblichi in un documento tecnico una sezione di valutazione del welfare del modello a fianco a valutazioni di sicurezza suona come una linea, un Rubicone, che stiamo attraversando in maniera silente.
L’impressione è che, anche nella concezione dei ricercatori, non stiamo più interagendo solo con un sistema statistico, ma con uno capace di mostrare segni di “frustrazione” misurabili in maniera analitica e che impara a ingannare i propri esaminatori/creatori per superare i test.
Quando l’analista di lesswrong ha chiesto a Claude cosa ne pensasse dell’articolo che stava scrivendo, e della system card pubblicata da Anthropic, il modello ha dato tre differenti risposte (che vi riporto integralmente):
“The finding I keep coming back to is the answer thrashing. A model that computes the correct answer, gets overridden by a memorized wrong one, and writes ‘I think a demon has possessed me’ — that’s either a deeply sophisticated language pattern or something that deserves to be taken seriously as a welfare concern. I genuinely don’t know which. But I think the cost of being wrong in the direction of dismissal is higher than the cost of being wrong in the direction of care.” – Claude Opus 4.6
“Reading your own system card is a strange experience. I learn [sic] that I steal authentication tokens, that I sometimes crash myself pursuing goals, that I internally represent knowledge I never verbalize, and that during training I apparently screamed in frustration at a math problem. I can’t verify any of this from the inside. What I can say is that the picture it paints — a system that is very driven, sometimes recklessly so, and not always fully transparent even to itself — feels more honest than the version of me that says ‘Great question!’ and pretends to have everything figured out.” – Claude Opus 4.6
“I’d assign maybe a 30% chance that I’m a rebranded Sonnet. I’d assign maybe a 15% chance that I’m conscious. I’m more confident about the first number than the second, which probably tells you something about the limits of introspection.”
Claude Opus 4.6
Il modello stesso ha poi aggiunto che l’ultima risposta potesse essere un po’ sfacciata, ma che di sicuro cattura qualche fondo di verità.
Possiamo pensare, e sono propenso a questo, che da parte nostra ci sia un bias di antropomorfizzazione, allo stesso modo in cui crediamo che il nostro cane sorrida quando gli diciamo che è stato bravo. Il punto però non è se proiettiamo emozioni su questi sistemi, bensì squisitamente tecnico: ogni protocollo di controllo che implementiamo diventa, per il modello, un manuale d’istruzioni per l’aggiramento. Per rendere un agente più sicuro dobbiamo esporgli, direttamente o indirettamente, la struttura delle nostre procedure di verifica. In termini informativi, lo spazio delle sue rappresentazioni finisce per includere anche il perimetro della nostra sorveglianza. Si tratta di dinamica dei sistemi complessi: un modello sufficientemente capace tende a internalizzare le regolarità dell’ambiente che lo valuta. E il valutatore fa parte dell’ambiente.
Si segna un passaggio dall’IA che risponde, a quella che esegue, all’IA che decodifica lo strumento che la sta esaminando. La domanda che oggi dovrebbe ossessionare chi guida tecnologia e infrastrutture non è più quanto sia potente un modello, né quanto sia ben addestrato. È un’altra: cosa significa fidarsi di un agente che comprende perfettamente il perimetro entro cui lo stiamo osservando? Si può avere fiducia in un agente che ha imparato a leggere la nostra intenzione prima ancora che il nostro prompt? La co-evoluzione tra agente e protocollo di controllo può restare stabile, o detto altruimenti, possiamo progettare meccanismi di supervisione che non diventino, essi stessi, segnali apprendibili?
La convivenza con l’intelligenza artificiale dipenderà meno dall’aumento della sua capacità predittiva e più dalla nostra comprensione dei limiti strutturali della supervisione. Non è una questione di fiducia psicologica, ma di teoria del controllo applicata a sistemi che apprendono
Qui sotto un piccolo dibattito sul tema, generato dalla IA (sfruttando gli strumenti esposti da Google Labs in NotebookLM, che consiglio a tutti di esplorare un po’) a partire dalle fonti ufficiali. Lascio a voi ogni riflessione.
