Le 9 migliori AI Gateway nel 2026: Bifrost, Portkey, LiteLLM, Kong e altri 5 classificati
Un AI gateway è uno strato di controllo tra la tua applicazione e i fornitori di modelli. Fornisce a ogni servizio un'unica API per molti modelli. Centralizza inoltre il routing, i tentativi di ripresa, il failover, la memorizzazione nella cache, i budget e i log. Questa guida presenta le migliori AI gateway per team di produzione nel 2026.
Il mercato si è mosso rapidamente quest'anno. Palo Alto Networks ha completato l'acquisizione di Portkey il 29 maggio. Mintlify ha acquisito Helicone, che ora funziona in modalità di manutenzione. LiteLLM ha superato un compromesso della supply chain di PyPI a marzo. La tua scelta di gateway ora comporta un rischio di fornitore e sicurezza, non solo un rischio di funzionalità.
TL;DR
- Migliore per le prestazioni self-hosted: Bifrost. Binario Go, licenza Apache 2.0, overhead pubblicato di 11 µs a 5.000 RPS.
- Migliore gateway open-source con guardrail: Portkey. Licenza MIT, 1.600+ modelli, ora supportato da Palo Alto Networks.
- Adozione più ampia: LiteLLM. 53.8K stelle su GitHub, 100+ fornitori, Python-first.
- Migliore per i team di piattaforme API: Kong AI Gateway. Traffico LLM, MCP e A2A in un unico stack.
- Migliori opzioni gestite: Cloudflare (edge, core gratuito), Vercel (nessun markup), OpenRouter (accesso ai modelli).
Come abbiamo classificato questi AI Gateway
Abbiamo ponderato 6 criteri per l'uso in produzione:
- Prove di prestazioni: overhead pubblicato e come è stato misurato.
- Copertura: fornitori e modelli dietro un'unica API compatibile con OpenAI.
- Governance: chiavi virtuali, budget, RBAC, log di audit, guardrail.
- Distribuzione: self-hosted, VPC, air-gapped o solo gestito.
- Modello di costo: markup, commissioni di piattaforma, limiti del tier gratuito.
- Rischio di fornitore e supply chain: licenza, cambi di proprietà, storia della sicurezza.
Confronto rapido: 9 migliori AI Gateway
| Posizione | Gateway | Licenza | Distribuzione | Copertura (dichiarazione del fornitore) | Overhead pubblicato | Prezzo di ingresso |
|---|---|---|---|---|---|---|
| 1 | Bifrost | Apache 2.0 | Self-hosted, VPC, air-gapped | 23+ fornitori | 11 µs a 5K RPS | Gratuito OSS; Enterprise personalizzato |
| 2 | Portkey | MIT (gateway) | Self-hosted, gestito, cloud privato | 1.600+ modelli | Meno di 1 ms | Gratuito OSS; ospitato da $49/mese |
| 3 | LiteLLM | Open source + licenza commerciale | Self-hosted, ospitato | 100+ fornitori | 8 ms P95 a 1K RPS | Gratuito OSS; Enterprise personalizzato |
| 4 | Kong AI Gateway | Open core | Self-hosted, cloud, ibrido | Multi-LLM tramite plugin | Non divulgato | Prova gratuita; plugin a pagamento |
| 5 | TrueFoundry | Proprietario | VPC, on-prem, air-gapped, SaaS | 1.600+ modelli | Meno di 3 ms interno | Gratuito 30K richieste/mese |
| 6 | Cloudflare AI Gateway | Proprietario | Gestito edge | Fornitori principali + Workers AI | Non divulgato | Funzionalità di base gratuite |
| 7 | Vercel AI Gateway | Proprietario | Gestito | Multi-fornitore, multimodale | Non divulgato | Nessun markup sui token |
| 8 | OpenRouter | Proprietario | Gestito | Labs principali + modelli aperti | Non divulgato | 5,5% di commissione sui crediti |
| 9 | Orq.ai Router | Proprietario | Gestito | 400+ modelli, 20+ fornitori | Non divulgato | Tier gratuito |
1. Bifrost (Maxim AI)
Cos'è: Bifrost è un gateway AI open-source scritto in Go. Espone 23+ fornitori tramite un'unica API compatibile con OpenAI. Viene fornito con licenza Apache 2.0 e ha 8.7K stelle su GitHub.
Perché è al primo posto: ha i numeri di prestazioni pubblicati più solidi di qualsiasi gateway self-hosted. Il README riporta un'aggiunta di latenza di 11 µs a 5.000 RPS su un t3.xlarge. Su un t3.medium, questa cifra è di 59 µs. Il benchmark di Maxim contro LiteLLM riporta una latenza P99 di 1,68 s rispetto a 90,72 s a 500 RPS.
Funzionalità chiave:
- Fallback automatici, bilanciamento del carico ponderato e caching semantico.
- Chiavi virtuali con budget e limiti di velocità gerarchici nella build open-source.
- Supporto per il gateway MCP, più modalità Codice per grandi set di strumenti.
- Metriche Prometheus e tracciamento OpenTelemetry.
- Endpoint di inserimento per OpenAI, Anthropic e Google GenAI SDK.
Migliore per: team ad alto throughput che devono self-host all'interno di una VPC o di una rete air-gapped.
2. Portkey
Cos'è: Portkey’s AI Gateway è un gateway con licenza MIT con 13K stelle su GitHub. Dichiara il routing verso 1.600+ modelli, una latenza inferiore a 1 ms e un footprint di 122 KB.
Perché è classificato qui: combina un forte routing con il catalogo di guardrail integrati più profondo. Una pre-release Gateway 2.0 unisce il gateway enterprise di Portkey nell'open-source. Palo Alto Networks ora possiede Portkey e lo sta integrando in Prisma AIRS.
Funzionalità chiave:
- Fallback, tentativi, routing condizionale, bilanciamento del carico e timeout delle richieste.
- Caching semplice e semantico.
- Guardrail di input e output, con opzioni bring-your-own e partner.
- Gateway MCP con autenticazione centrale, controllo degli accessi e logging delle chiamate degli strumenti.
Prezzi: Braintrust’s comparison elenca un tier gratuito con 10K richieste registrate. I piani a pagamento partono da $49 al mese.
Migliore per: team che vogliono guardrail e routing in un unico gateway open-source.
3. LiteLLM
Cos'è: LiteLLM è il gateway LLM open-source più ampiamente adottato. Ha 53.8K stelle su GitHub e supporta 100+ fornitori. Viene fornito come SDK Python e server proxy.
Perché è classificato qui: la copertura e la profondità dell'ecosistema sono senza pari. Supporta chat, embedding, immagini, audio, batch, rerank, MCP e endpoint A2A. Il progetto riporta una latenza P95 di 8 ms a 1K RPS nei suoi benchmark.
Funzionalità chiave:
- Chiavi virtuali, tracciamento delle spese per team, budget e limiti RPM/TPM.
- Router con tentativi, fallback e bilanciamento del carico tra le distribuzioni.
- Interfaccia utente amministrativa, guardrail e logging a Langfuse, OpenTelemetry e altri.
- Moduli Terraform per AWS e GCP, più immagini Docker firmate da cosign.
Migliore per: team Python-first che necessitano di una copertura massima dei fornitori e possono eseguire il proxy.
4. Kong AI Gateway
Cos'è: Kong AI Gateway estende il gateway API di Kong al traffico AI. Governa il traffico LLM, MCP e agent-to-agent (A2A) da una singola piattaforma.
Perché è classificato qui: Kong porta una gestione API matura all'AI. Il suo sito riporta che Gartner ha nominato Kong leader nella gestione API per il 7° anno.
Funzionalità chiave:
- Sanitizzazione PII, guard semantici e controllo degli accessi.
- Caching semantico, routing e bilanciamento del carico.
- Quote di token per utente, modello e tempo limitato, con showback e chargeback.
- Telemetria A2A che copre payload, latenza, utilizzo dei token e identità del chiamante.
Migliore per: aziende già standardizzate su Kong per la gestione delle API.
5. TrueFoundry AI Gateway
Cos'è: TrueFoundry offre un gateway AI enterprise con funzionalità di gateway LLM, MCP e agent. Dichiara l'accesso a 1.600+ modelli.
Perché è classificato qui: guida Gartner Peer Insights per AI Gateways per volume. Detiene una valutazione di 4,8 da 210 valutazioni.
Funzionalità chiave:
- Distribuzione in ambienti VPC, on-prem, air-gapped o multi-cloud.
- Routing basato sulla latenza, bilanciamento del carico ponderato e routing geo-aware.
- Servizio per modelli self-hosted su vLLM, SGLang, KServe e Triton.
- SOC 2, HIPAA e GDPR.