Come funziona un LLM: la guida semplice per capire l'AI

Ogni giorno milioni di persone chiedono qualcosa a un chatbot e ricevono una risposta che sembra scritta da una persona. Dietro c'è un LLM, un modello linguistico di grandi dimensioni. Ma come funziona, davvero? La risposta è più semplice e più strana di quanto sembri, e ruota attorno a una sola idea: un LLM non sa nulla, non ragiona e non cerca risposte in un archivio. Prevede la parola successiva. Tutto il resto, comprese le sue stranezze, discende da qui. In questa guida vediamo com'è fatto, come impara e perché si comporta come si comporta.

Cos'è un LLM

LLM sta per Large Language Model, cioè modello linguistico di grandi dimensioni. È un tipo di rete neurale, un programma ispirato in modo molto lontano al funzionamento del cervello, addestrato su enormi quantità di testo: libri, siti, articoli, conversazioni. La parola 'grande' si riferisce a due cose. Primo, la mole di testo su cui viene addestrato, dell'ordine di trilioni di parole. Secondo, il numero di parametri, le manopole interne che il modello regola mentre impara: nei modelli più potenti sono centinaia di miliardi.

Il compito per cui un LLM viene costruito è uno solo, e sorprendentemente umile: dato un pezzo di testo, indovinare cosa viene dopo. Da questa abilità elementare, ripetuta a scala gigantesca, emergono comportamenti che sembrano intelligenza.

Il cuore: prevedere il token successivo

Prima di tutto, un LLM non legge lettere e parole come le vediamo noi. Spezza il testo in token, pezzetti lunghi in media quattro caratteri: a volte una parola intera, spesso un frammento. La parola 'strawberry', per esempio, può diventare due token, 'straw' e 'berry'. Ogni token viene poi trasformato in una lista di numeri, un vettore, che ne rappresenta il significato in una forma che la macchina può elaborare.

A questo punto entra in gioco il meccanismo centrale. Il modello guarda tutti i token ricevuti finora e calcola, per ogni possibile token successivo, quanto è probabile che venga dopo. Poi ne sceglie uno, lo aggiunge alla sequenza e ripete il calcolo. Token dopo token, costruisce la risposta. È un po' come il suggerimento automatico della tastiera del telefono, ma enormemente più potente e allenato su quasi tutto lo scibile testuale disponibile. L'analogia, però, si rompe su un punto: la tastiera propone una parola, l'LLM ne soppesa contemporaneamente decine di migliaia, tenendo conto del contesto di migliaia di parole precedenti.

Come impara: l'addestramento in tre fasi

↗ Perché studiare matematica se c'è l'AI: la risposta vera

Un LLM non nasce capace: lo diventa per gradi. La prima fase si chiama preaddestramento. Al modello vengono date miliardi di frasi con l'ultima parola nascosta, e il suo compito è indovinarla. Ogni volta che sbaglia, i parametri interni vengono corretti di pochissimo. Ripetuto per un numero enorme di volte, questo processo gli fa assorbire grammatica, fatti, stili e relazioni tra concetti. Nessuno gli insegna le regole in modo esplicito: le ricava dalle regolarità del testo.

Ma un modello così sa completare il testo, non necessariamente essere utile. Servono altre due fasi. Nella messa a punto supervisionata gli si mostrano esempi di domande e di buone risposte, per insegnargli a rispondere invece di continuare a chiacchierare. Infine c'è l'RLHF, l'apprendimento dalle preferenze umane: dei valutatori giudicano le risposte e il modello viene premiato quando produce quelle preferite. È questa fase a renderlo educato, prudente e allineato a ciò che gli utenti si aspettano.

Attenzione e finestra di contesto

↗ ChatGPT e l'attesa perduta: i chatbot disabituano a pregare

Cosa permette a un LLM di tenere il filo di un discorso lungo? Un meccanismo chiamato attenzione, introdotto con l'architettura transformer nel 2017, che è la base di quasi tutti i modelli attuali. In parole semplici, l'attenzione permette al modello, mentre elabora una parola, di pesare quanto contano tutte le altre parole per capirne il senso. Nella frase 'ho lasciato la borsa in banca perché era piena', l'attenzione aiuta a collegare 'piena' a 'borsa' e non a 'banca'.

C'è però un limite fisico: la finestra di contesto, cioè quanto testo il modello può considerare in una volta sola. Si misura in token, non in parole: circa mille token equivalgono a settecentocinquanta parole. Tutto ciò che esce da quella finestra, il modello semplicemente non lo vede più. Ecco perché, in una conversazione molto lunga, a un certo punto sembra dimenticare quello che era stato detto all'inizio.

Una sola idea spiega i suoi comportamenti strani

Qui sta il vantaggio di capire il meccanismo: quasi tutti i comportamenti bizzarri di un LLM smettono di essere misteriosi se li si legge alla luce dell'unica cosa che fa davvero, cioè prevedere il token più probabile. Ecco la mappa.

Le allucinazioni. Il modello non ha un archivio della verità: cerca il testo più plausibile, non quello più vero. Quando non 'sa', produce comunque la sequenza di parole statisticamente più credibile, che a volte è giusta e a volte è un'invenzione perfettamente verosimile. Il tono sicuro non c'entra con la correttezza: è solo la fluidità del linguaggio.

Il caso strawberry. Un LLM fatica a dire quante 'r' contiene la parola perché non vede le lettere, vede i token 'straw' e 'berry'. Le singole lettere sono sepolte dentro i pezzetti, quindi contarle è per lui un compito artificiale, come chiedere a te di contare i pixel di una foto che percepisci già come immagine.

I calcoli sbagliati. Il modello non esegue l'aritmetica: cerca lo schema di risposta più somigliante a quelli visti. Se il conto è comune, spesso indovina; se è insolito, lo completa con un numero plausibile ma errato.

Il peso della domanda. L'output dipende interamente dal testo in ingresso: cambiando il contesto, cambi le probabilità e quindi la risposta. Ecco perché fornire esempi, ruolo e istruzioni chiare, il cosiddetto prompting, funziona davvero.

Cosa un LLM non è

Chiarito il meccanismo, cadono alcuni malintesi diffusi. Un LLM non è un motore di ricerca: non consulta il web in tempo reale, se non quando viene esplicitamente collegato a strumenti esterni. Non è un database: non 'contiene' i testi su cui è stato addestrato, ne ha assorbito le regolarità statistiche. Non 'capisce' nel senso umano del termine: manipola simboli con grande abilità, ma non ha esperienza del mondo a cui quei simboli si riferiscono. E non è deterministico: alla stessa domanda può dare risposte diverse, perché nella scelta del token successivo esiste un margine di casualità controllata.

Domande frequenti

Un LLM è intelligente?

Dipende da cosa si intende. Mostra capacità impressionanti nel manipolare il linguaggio, e a volte emergono comportamenti che sembrano ragionamento. Ma non ha coscienza, intenzioni o comprensione del mondo: è un sistema statistico molto sofisticato che prevede testo. Attribuirgli pensieri o emozioni è un errore di prospettiva.

Qual è la differenza tra un LLM e un chatbot?

L'LLM è il motore, il chatbot è l'automobile. Il modello linguistico è la tecnologia che genera il testo; il chatbot è il prodotto costruito intorno, con interfaccia, memoria della conversazione, filtri di sicurezza ed eventuali strumenti come la ricerca web o la calcolatrice.

Perché a volte dà risposte diverse alla stessa domanda?

Perché la scelta del token successivo include un elemento di casualità regolabile. Un valore più alto rende le risposte più creative e varie, uno più basso le rende più prevedibili e ripetitive. È una caratteristica voluta, non un difetto.

Ci si può fidare delle sue risposte?

Con giudizio. Un LLM è un ottimo assistente per bozze, sintesi e spiegazioni, ma può sbagliare con sicurezza. Per fatti, cifre e decisioni importanti, le sue risposte vanno sempre verificate su fonti affidabili. È uno strumento potente, non un oracolo.

Serve saper programmare per usarlo?

No, basta scrivere in linguaggio naturale. Sapere come funziona, però, aiuta a usarlo meglio: chi capisce che tutto dipende dal contesto fornito impara a fare domande più precise e a ottenere risposte migliori.

Capire come funziona un LLM non richiede la matematica che c'è sotto: basta tenere a mente l'idea centrale. È una macchina che, allenata su una quantità sterminata di testo, prevede il pezzo di lingua più probabile, uno dopo l'altro. Non è magia e non è intelligenza nel senso umano, ma è uno strumento straordinario, a patto di sapere che cosa può fare e dove, in modo prevedibile, sbaglia. La differenza tra chi lo subisce e chi lo padroneggia sta tutta qui.