Cos’è un Token

La definizione (quella vera)

Un token è l’unità atomica di testo che un modello linguistico vede, elabora e produce. Non è una parola. Non è un carattere. È qualcosa nel mezzo: un pezzo di testo statisticamente frequente, determinato dall’algoritmo di tokenizzazione usato durante l’addestramento.

La regola pratica più usata è questa: 1 token ≈ 4 caratteri in inglese, ovvero circa ¾ di parola. In italiano e nelle altre lingue romanze il rapporto è leggermente peggiore: le parole tendono ad essere più lunghe e il vocabolario del tokenizzatore è sbilanciato sull’inglese.

Come funziona la tokenizzazione

I modelli moderni usano principalmente Byte Pair Encoding (BPE) o varianti simili (SentencePiece, WordPiece). L’idea di base: partendo dai singoli byte, si fondono iterativamente le coppie di simboli più frequenti nel corpus di addestramento, finché non si raggiunge la dimensione del vocabolario desiderata (tipicamente 32.000–200.000 token).

Il risultato è che parole comuni diventano un singolo token, mentre parole rare o costruzioni insolite vengono spezzate in più pezzi.

Esempi concreti

Vediamo come GPT-4 (tokenizzatore cl100k_base) divide alcune frasi:

"Ciao mondo"          → ["Ci", "ao", " mondo"]          = 3 token
"Hello world"         → ["Hello", " world"]             = 2 token
"tokenizzazione"      → ["token", "iz", "zazione"]      = 3 token
"tokenization"        → ["token", "ization"]            = 2 token
"ChatGPT"             → ["Chat", "G", "PT"]             = 3 token
"API"                 → ["API"]                         = 1 token
"12345"               → ["123", "45"]                   = 2 token
"2026"                → ["2026"]                        = 1 token
"https://example.com" → ["https", "://", "example", ".com"] = 4 token

Nota il divario italiano vs inglese: tokenizzazione costa 3 token, tokenization solo 2. Su testi lunghi in italiano puoi aspettarti un 15–20% di token in più rispetto alla versione inglese equivalente.

Spazi e punteggiatura

Dettaglio che sorprende molti: lo spazio inizia spesso il token successivo, non finisce quello precedente. “ mondo” (con spazio) è un token diverso da “mondo” (senza spazio). Questo ha implicazioni per il prompt engineering: formattazione, bullet point e spaziatura influenzano il conteggio dei token.

La context window: tutto è token

Quando senti parlare di “context window da 200.000 token” (Claude 3) o “1 milione di token” (Gemini 1.5 Pro), si parla esattamente di questo: quanti token il modello può tenere in “mente” contemporaneamente, sommando input e output.

La context window include tutto:

• Il system prompt (le istruzioni iniziali)
• La cronologia della conversazione
• I documenti che hai incollato
• Il codice che hai allegato
• La risposta che il modello sta generando

Context window a confronto (2026)

Token = denaro

Ogni chiamata API viene fatturata in token. Il prezzo si esprime in dollari per milione di token (MTok) e distingue sempre tra token di input (quello che mandi) e token di output (quello che il modello genera).

I token di output costano sistematicamente di più — spesso 3–5 volte — perché la generazione è computazionalmente più pesante del semplice processamento dell’input.

Prezzi indicativi (aprile 2026)

Prompt caching: pagare meno per contesti ripetuti

Anthropic (Claude) e OpenAI offrono entrambi una funzione di prompt caching: se la parte iniziale del tuo prompt è identica tra chiamate consecutive (es. un system prompt lungo o un documento di riferimento), il provider la mette in cache e te la fa pagare a una frazione del prezzo normale.

• Anthropic: cache write $3,75/MTok, cache read $0,30/MTok (su Sonnet). Un risparmio dell’85–90% sulle parti cachate.
• OpenAI: sconto automatico del 50% sui prompt >1.024 token che iniziano con una parte già vista nelle ultime 5–10 minuti.

Per sistemi RAG o chatbot con un system prompt fisso lungo, il caching è quasi sempre conveniente da implementare.

Come contare i token prima di inviare

Non devi aspettare la risposta dell’API per sapere quanti token hai. Ogni provider espone un modo per contare in anticipo:

# Python — OpenAI (tiktoken)
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
tokens = enc.encode("Il mio testo da contare")
print(len(tokens))  # numero di token

# Python — Anthropic
import anthropic
client = anthropic.Anthropic()
response = client.messages.count_tokens(
    model="claude-3-5-sonnet-20241022",
    messages=[{"role": "user", "content": "Il mio testo"}]
)
print(response.input_tokens)

Librerie utili:

• tiktoken (OpenAI, open source) — conta token per modelli GPT localmente, senza chiamate API
• tokenizers (Hugging Face) — supporta praticamente ogni modello open source
• anthropic SDK — count_tokens() nativo, chiama l’API ma è gratuito

Come ottimizzare l’uso dei token

Ridurre i token non significa solo risparmiare denaro: prompt più corti e densi spesso producono risposte migliori, perché il modello ha meno “rumore” da cui distrarsi.

Ottimizzare l’input

• Rimuovi le ripetizioni: non ripetere le istruzioni tre volte sperando che il modello le segua meglio — non funziona così.
• Usa formati compatti: JSON minificato, Markdown invece di HTML, liste invece di paragrafi discorsivi per dati strutturati.
• Taglia il contesto irrilevante: in un sistema RAG, seleziona solo i chunk davvero pertinenti invece di allegare tutto il documento.
• Preferisci l’inglese per istruzioni tecniche: le istruzioni di sistema in inglese costano meno token e spesso producono risultati equivalenti o migliori.

Controllare l’output

• Imposta max_tokens: senza limite, i modelli tendono a essere verbosi. Settare un tetto riduce i costi e spesso migliora la qualità (forza sintesi).
• Chiedi esplicitamente risposte brevi: “Rispondi in massimo 3 frasi” è un’istruzione che i modelli seguono bene.
• Usa output strutturato (JSON mode): se ti serve solo un JSON, chiedere solo quello elimina tutto il testo di contorno.

Token in streaming

La maggior parte delle API supporta la generazione in streaming: i token arrivano uno alla volta man mano che vengono generati, invece di aspettare la risposta completa. Questo non riduce i costi (paghi gli stessi token), ma migliora drasticamente la perceived latency: l’utente vede la risposta apparire in tempo reale invece di aspettare 10–30 secondi per una risposta lunga.

Token non testuali: immagini e audio

I modelli multimodali come GPT-4o e Claude 3 gestiscono anche immagini e audio, ma questi vengono anch’essi convertiti in “token visivi” prima di essere processati.

Per le immagini, la regola dipende dalla risoluzione:

• OpenAI (GPT-4o): un’immagine 1080×1080px in modalità “high” = ∼765 token; in modalità “low” = 85 token fissi.
• Anthropic (Claude): un’immagine 1568×1568px = ∼1.600 token; la risoluzione viene scalata automaticamente.

Implicazione pratica: mandare screenshot ad alta risoluzione a ripetizione in una conversazione visiva può diventare sorprendentemente costoso. Ridimensionare le immagini prima di inviarle è quasi sempre una buona idea.

Prossimi passi

Ora che hai capito i token, puoi approfondire come vengono usati nei contesti reali:

• Confronta i modelli tenendo conto del costo per token e della context window
• Prompt Engineering — tecniche per ottenere più risultato con meno token
• RAG — come gestire la selezione dei chunk per non sprecare la context window
• Usare l’AI — quando il costo in token rende l’AI non conveniente rispetto ad alternative più semplici