Thinking Machines Lab lancia Inkling: 975 miliardi di parametri open-weight

Quando Mira Murati ha lasciato OpenAI nel settembre 2024 — dopo anni come CTO e architetta di gran parte della strategia di prodotto dell'azienda —, la domanda era ovvia: cosa costruirà? La risposta è arrivata con più peso di quanto in molti si aspettassero. La Thinking Machines Lab ha appena lanciato Inkling, un modello linguistico open-weight basato sull'architettura mixture-of-experts (MoE) con 975 miliardi di parametri totali e 41 miliardi di parametri attivi per inferenza. Non è un esperimento di laboratorio. È una dichiarazione di posizionamento in un mercato che, fino a poco tempo fa, sembrava riservato a OpenAI, Google e Anthropic.

Cos'è Inkling e come funziona

Inkling adotta l'architettura MoE — la stessa logica che sta alla base di GPT-4 e di Gemini 1.5 — ma con una scala che posiziona il modello nella fascia frontier. In pratica, MoE significa che il modello non utilizza tutti i suoi 975 miliardi di parametri contemporaneamente. A ogni token generato, viene attivato solo un sottoinsieme di "esperti" — nel caso di Inkling, circa 41 miliardi di parametri. Questo ha una conseguenza diretta e molto rilevante per chi gestisce infrastrutture: il costo di inferenza cala drasticamente rispetto a un modello denso di dimensioni equivalenti.

Il fatto di essere open-weight è l'altro differenziale strutturale. A differenza di un'API chiusa, un modello open-weight può essere scaricato, adattato (fine-tuned) e ospitato su infrastruttura propria. Le aziende che hanno vincoli di compliance, dati sensibili dei clienti o semplicemente vogliono il controllo su latenza e costo per token dispongono ora di un'alternativa di punta — senza dipendere da un unico fornitore.

Perché la dimensione conta in questo caso

975 miliardi di parametri totali collocano Inkling nella stessa conversazione del Mixtral 8x22B di Mistral e di DeepSeek-V3, entrambi MoE di riferimento nel segmento open. La differenza rilevante è l'origine: Thinking Machines Lab arriva con capitale di alto profilo, un team composto da ex-OpenAI e il peso del percorso di Murati come una delle persone più influenti nella costruzione di ChatGPT. Questo conta perché la qualità del training — i dati, il processo di RLHF, l'allineamento — è determinante tanto quanto il numero di parametri.

Cosa cambia nel mercato dei modelli

Fino al 2023, la conversazione sui modelli frontier era binaria: si usava GPT-4 tramite API oppure si ricorreva ad alternative chiaramente inferiori. Questo scenario è cambiato con Llama 3 di Meta, DeepSeek dalla Cina e Mistral dalla Francia. Inkling approfondisce questa rottura.

Per le aziende che usano l'IA nel prodotto, nel supporto o nell'ingegneria, l'impatto è concreto:

• Maggiore leva nella negoziazione dei prezzi. Quando tre o quattro modelli frontier si contendono lo stesso workload, fornitori come OpenAI e Anthropic sentono la pressione di adeguare prezzi e condizioni. Lo abbiamo già visto accadere — GPT-4o mini e Claude Haiku esistono, in parte, proprio grazie a questa competizione.
• Più opzioni di licensing. Open-weight non equivale a open-source puro, ma consente il deployment on-premise o in VPC privata. Per una banca, una healthtech o qualsiasi azienda con dati regolamentati, questo può eliminare un vero blocco operativo.
• Il benchmark non è più l'unico criterio. Con più modelli di qualità comparabile, la decisione si sposta su latenza, costo per token, capacità di fine-tuning e supporto. Questo favorisce le aziende che sviluppano competenze interne di valutazione dei modelli — non solo chi firma per l'API più costosa.

Un caso d'uso per ancorare la decisione

Immaginate un'azienda di e-commerce di medie dimensioni che utilizza LLM per tre funzioni: generazione di descrizioni di prodotto, smistamento dei ticket di supporto e suggerimento di risposta per gli agenti umani. Oggi, questo stack probabilmente gira su GPT-4o o Claude 3.5, con un costo mensile che può variare notevolmente a seconda del volume.

Con un modello come Inkling in esecuzione su infrastruttura propria — tramite cloud dedicato o persino hardware on-premise per le aziende più grandi —, il costo di inferenza scende al prezzo del compute, senza il margine del fornitore. Il fine-tuning consente al modello di apprendere il tono e il catalogo dell'azienda senza dipendere da prompt enormi. E la latenza può essere ottimizzata in base all'architettura interna.

Non è fantascienza: è esattamente ciò che le aziende europee e nordamericane di medie dimensioni fanno già con Llama 3 e Mistral. Inkling entra in questa conversazione con parametri qualitativi più elevati.

Cosa non sappiamo ancora — e vale la pena sapere

Ogni valutazione onesta richiede delle riserve. Inkling è stato annunciato, ma benchmark indipendenti e confronti diretti su task reali sono ancora in corso da parte della community. La qualità del ragionamento in lingue diverse dall'inglese — rilevante per qualsiasi azienda internazionale — dipende dal mix dei dati di training, che Thinking Machines Lab non ha ancora dettagliato pubblicamente.

Inoltre, eseguire un modello con 975 miliardi di parametri totali richiede un'infrastruttura seria. Anche con MoE che riduce il costo di inferenza, il footprint di memoria per caricare i pesi è sostanziale. Per la maggior parte delle PMI, la strada pratica sarà tramite API — se e quando Thinking Machines Lab metterà a disposizione un endpoint commerciale — oppure tramite provider cloud che ospitino il modello.

Lo scenario che si consolida

Il lancio di Inkling conferma una tendenza che sto seguendo da vicino: la frontiera dell'IA ha smesso di essere proprietà esclusiva di due o tre laboratori americani. Questo è strutturalmente positivo per qualsiasi azienda che utilizza l'IA come input strategico — perché la competizione genera modelli migliori, prezzi più bassi e più opzioni su come e dove eseguirli.

Per i responsabili di tecnologia e prodotto, il messaggio pratico è semplice: il momento di costruire competenze interne per valutare, confrontare e cambiare modello man mano che il mercato evolve è adesso. Chi è rimasto legato a un unico fornitore nel 2023 ha già pagato il prezzo di questa dipendenza. Con Inkling sul tavolo, le opzioni sono migliorate — e la scusa per non diversificare, sempre più difficile da sostenere.