OpenAI presenta Jalapeño: il chip che rivoluziona l’inferenza con un’efficienza senza precedenti

Durante la conferenza Hot Chips, OpenAI ha presentato il suo nuovo chip, Jalapeño, accompagnato da risultati di benchmark che evidenziano il suo potenziale straordinario nell’ambito dell’inferenza AI. I dati forniti da InferenceX di Semianalysis mostrano che Jalapeño offre un numero maggiore di token per utente e una throughput per kilowatt superiore rispetto ai processori di inferenza attualmente considerati all’avanguardia, come il sistema Nvidia Blackwell.

Nonostante i risultati promettenti, OpenAI avverte che la concorrenza nel settore potrebbe evolversi rapidamente prima della piena distribuzione del prodotto. Jalapeño è stato sviluppato in collaborazione con Broadcom, utilizzando i modelli proprietari di OpenAI nel processo di progettazione. L’azienda prevede che la piattaforma diventi multigenerazionale, in grado di coordinare chip, memoria e modelli in modo efficiente.

Un aspetto chiave dell’architettura di Jalapeño è la sua capacità di ridurre i ritardi nelle fasi di prefill e comunicazione, che spesso rappresentano colli di bottiglia durante l’inferenza. Come spiegato nel comunicato aziendale, “We designed Jalapeño to minimize data movement and communication delays.” Questo significa che lo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte, può essere allocato e mantenuto localmente, mentre il sistema attiva la combinazione adeguata di calcolo, memoria e rete per ogni fase di inferenza.

Richard Ho, responsabile hardware di OpenAI, ha commentato: “The bottom line is that the results show a very, very significant performance advance over state of the art. Jalapeño can serve more AI work per unit of power, while also returning responses more quickly. It’s very efficient to serve a lot of customers, but it can also be very low latency.”

OpenAI prevede un primo dispiegamento di Jalapeño in volumi molto ridotti entro la fine del 2026, con una distribuzione più significativa attesa per il 2027. Questo sviluppo rappresenta un passo importante verso l’ottimizzazione delle risorse energetiche nel campo dell’intelligenza artificiale, un tema sempre più rilevante nel contesto attuale di transizione energetica.