Red Hat AI 3 per carichi di lavoro di intelligenza artificiale in produzione

In un panorama tecnologico in rapida evoluzione, l'intelligenza artificiale sta superando la fase sperimentale per diventare un pilastro fondamentale delle operazioni aziendali. Tuttavia, la transizione dal concetto alla produzione su vasta scala presenta sfide significative. È in questo contesto che Red Hat presenta Red Hat AI 3, una soluzione innovativa progettata per colmare il divario tra la sperimentazione e l'implementazione produttiva su larga scala dei carichi di lavoro di intelligenza artificiale, in particolare per l'inferenza.

Questa piattaforma di intelligenza artificiale ibrida e cloud-native è stata sviluppata per fornire alle aziende e ai team IT una base solida per implementare rapidamente applicazioni di inferenza basate su agenti. Red Hat AI 3 aggrega e integra funzionalità chiave da diverse offerte Red Hat, tra cui Red Hat AI Inference Server, Red Hat Enterprise Linux AI (RHEL AI) e Red Hat OpenShift AI, creando un ecosistema coeso per la creazione e la gestione di applicazioni di inferenza distribuite.

La Piattaforma Unificata: Red Hat AI 3

Red Hat AI 3 si posiziona come una piattaforma software open source che unisce una vasta gamma di funzionalità. Il suo obiettivo primario è quello di ridurre drasticamente la complessità associata all'inferenza AI ad alte prestazioni. Questa semplificazione permette alle aziende di accelerare il processo di transizione dei carichi di lavoro AI dalla fase di proof-of-concept (PoC) all'ambiente di produzione, migliorando al contempo la collaborazione tra i team che lavorano su applicazioni basate sull'IA.

L'offerta arriva in un momento cruciale, poiché un numero crescente di aziende sta completando le fasi di sperimentazione dei propri progetti AI e si trova ora di fronte alla necessità di scalare e distribuire queste soluzioni. Le sfide, sebbene in parte note (come la protezione dei dati e il controllo dei costi), si presentano con una complessità inedita. Nuovi compiti emergono, tra cui la gestione di una moltitudine di modelli diversi, ognuno con le proprie specificità e requisiti.

Il Punto di Svolta dell'Intelligenza Artificiale

Rick Villars, Group Vice President, Worldwide Research presso IDC, ha fornito una prospettiva illuminante sul futuro dell'IA. Secondo Villars, il 2026 segnerà un punto di svolta significativo: le aziende passeranno dalla mera adozione dell'IA alla realizzazione di risultati aziendali chiaramente misurabili e ripetibili dai loro investimenti. Questa previsione sottolinea l'urgenza per le imprese di dotarsi di infrastrutture capaci di supportare questo cambiamento.

Villars ha proseguito spiegando che, mentre i primi progetti si sono concentrati sull'addestramento e il test dei modelli, il vero valore – e la vera sfida – risiede nella capacità di tradurre in modo efficiente, sicuro ed economico le intuizioni basate sui modelli in operazioni reali. Questa evoluzione richiede infrastrutture moderne, ambienti dati e applicazioni con funzionalità di inferenza pronte per la produzione e immediatamente utilizzabili, capaci di gestire la scalabilità e la complessità del mondo reale. Ciò è particolarmente vero considerando l'ascesa dell'IA agentica, che sta aumentando massicciamente i carichi di inferenza. "Le aziende di successo saranno quelle che creeranno una piattaforma unificata per orchestrare questi carichi di lavoro sempre più complessi in ambienti cloud ibridi – e non in silos isolati," ha affermato Villars.

La realtà attuale degli investimenti in IA è evidenziata dal rapporto "The GenAI Divide: State of AI in Business" del Massachusetts Institute of Technology "NANDA Project". Questo studio rivela che circa il 95 percento delle aziende non sta ottenendo ritorni finanziari misurabili da investimenti che ammontano a circa 40 miliardi di dollari. Questo dato sottolinea l'importanza critica di soluzioni come Red Hat AI 3, che mirano a trasformare gli investimenti in IA in valore tangibile.

I Vantaggi di Red Hat AI 3 per i Leader IT

Red Hat sostiene che Red Hat AI 3 offre a CIO e responsabili IT un ambiente unificato e coerente. Questa uniformità consente di scalare i carichi di lavoro AI più rapidamente e di distribuirli su ambienti ibridi multi-vendor. Allo stesso tempo, facilita una migliore collaborazione tra i team su carichi di lavoro AI complessi, come quelli basati su agenti. La piattaforma è costruita su standard aperti, supportando le aziende in qualsiasi fase del loro percorso AI.

Indipendentemente dal modello o dall'acceleratore AI utilizzato, Red Hat AI 3 offre un supporto completo, coprendo un ampio spettro di ambienti: dai data center alle public cloud, dagli ambienti di intelligenza artificiale sovrana fino all'edge computing. Questa flessibilità garantisce che le aziende possano sfruttare i loro investimenti esistenti e adottare l'IA dove è più efficace, senza vincoli tecnologici.

Dal Training alla Pratica: Focus sull'Inferenza

Quando le aziende trasferiscono i progetti AI in produzione, il focus si sposta dall'addestramento e dalla messa a punto dei modelli all'inferenza, che rappresenta la fase operativa in cui i modelli vengono utilizzati per generare previsioni e decisioni. L'enfasi principale di Red Hat AI 3 è posta sull'inferenza scalabile e il più possibile economicamente efficiente. Questo è fondamentale per garantire che le soluzioni AI siano non solo performanti, ma anche sostenibili a lungo termine.

Per supportare la distribuzione affidabile e pronta per la produzione di grandi modelli linguistici (LLM), Red Hat AI 3 si basa su una combinazione di progetti della community e dell'esperienza interna di Red Hat. Nello specifico, i progetti open source vLLM e llm-d, insieme alla conoscenza di Red Hat nell'ottimizzazione dei modelli, costituiscono la base per l'implementazione di questi modelli complessi in ambienti produttivi.

llm-d: L'Orchestratore per LLM su Kubernetes

Il progetto llm-d è una componente chiave che permette l'esecuzione nativa di LLM su Kubernetes. Questo strumento sfrutta l'approccio dell'orchestrazione di Kubernetes e le prestazioni di vLLM, combinandole con tecnologie open source centrali per offrire un sistema di serving distribuito e scalabile. Le tecnologie integrate includono:

• Kubernetes Gateway API Inference Extension: per la gestione del traffico e l'estensione dell'API per l'inferenza.
• Nvidia Dynamo Low Latency Data Transfer Library (NIXL): per trasferimenti di dati a bassa latenza, cruciali per le prestazioni degli LLM.
• DeepEP Mixture of Experts (MoE) Communication Library: per la gestione della comunicazione efficiente tra i componenti dei modelli Mixture of Experts.

In sostanza, llm-d si basa su vLLM, che è un motore di inferenza ad alte prestazioni per nodi singoli, ma lo estende trasformandolo in un sistema di serving distribuito, coerente e altamente scalabile. L'obiettivo principale di llm-d è garantire prestazioni prevedibili, un ritorno sull'investimento (ROI) misurabile e una pianificazione efficace dell'infrastruttura. Tutte le migliorie introdotte in llm-d sono direttamente volte ad affrontare le sfide associate alla gestione di carichi di lavoro LLM altamente variabili e alla distribuzione di modelli estesi, come i modelli Mixture-of-Experts (MoE), che richiedono un'architettura complessa e una gestione delle risorse sofisticata.

Conclusioni e Prospettive Future

Con Red Hat AI 3, l'azienda si propone di fornire una soluzione strategica che anticipa le esigenze future delle imprese, guidandole attraverso la fase più critica dell'adozione dell'IA: la sua messa in produzione. Offrendo una piattaforma unificata, scalabile e basata su standard aperti, Red Hat mira a democratizzare l'accesso all'inferenza AI avanzata, consentendo a un numero maggiore di aziende di trasformare i propri investimenti in intelligenza artificiale in risultati di business concreti e misurabili. In un mondo dove l'IA è sempre più integrata nel tessuto operativo, strumenti come Red Hat AI 3 saranno indispensabili per navigare la complessità e cogliere le opportunità offerte da questa tecnologia rivoluzionaria.