In breve. A luglio abbiamo scritto che la lettera sui pesi aperti è l’accordo di fornitura di Ostler. Da allora sono successe due cose ai livelli sottostanti. Un fornitore anonimo ha iniziato a regalare inferenza di primo livello su OpenRouter, con una scheda che dichiara che prompt e risposte vengono conservati. E Hugging Face, dove vivono i modelli aperti, cercherebbe un acquirente per circa 13 miliardi di dollari. Nessuna delle due è uno scandalo. Entrambe ricordano che tutto ciò che sta sopra il tuo disco è la decisione commerciale di qualcuno. Compresa una delle nostre, che nominiamo qui sotto.

Un mese fa abbiamo scritto della lettera sui pesi aperti avanzando un argomento un po’ insolito: che un episodio di politica industriale fosse, per noi, un documento di approvvigionamento. Ostler esegue modelli sul tuo Mac. Se i pesi smettono di essere pubblicati, smettiamo di avere un prodotto.

Quel post conteneva una frase detta di sfuggita: Hugging Face è dove vivono i modelli aperti. Questa settimana ha dato a quella frase una seconda lettura.

Inferenza gratuita, da nessuno in particolare

La scorsa settimana un modello chiamato Ox Alpha è comparso su OpenRouter, uscita silenziosa di un fornitore terzo anonimo. Gratuito, con una finestra di contesto di poco più di un milione di token. L’agente open source OpenCode ha dichiarato che il modello sarebbe stato gratuito per una settimana con uso quasi illimitato, e che il fornitore disponeva di una capacità di centomila miliardi di token al giorno. Gli sviluppatori che lo hanno provato sono rimasti colpiti; tra loro l’amministratore delegato di Stripe.

Nessuno ha stabilito su quali server giri. Le ipotesi principali hanno indicato un laboratorio cinese che ha già testato modelli in forma anonima, e una grande azienda americana, e nel fine settimana la sicurezza si era dissolta per entrambe.

L’identità è la parte interessante della storia. Non è la parte importante. La parte importante sta nella scheda di OpenRouter stessa, che dichiara che prompt e risposte vengono conservati dal fornitore e non usati per l’addestramento.

Rileggilo pensando a un progetto di lavoro. Qualunque cosa tu invii va a un’azienda che non ha detto chi è, e lei la tiene. The Next Web, che ha coperto bene la vicenda, ha formulato la conclusione meglio di quanto sapremmo fare noi: il gratis qui ha un prezzo, e quel prezzo è informazione.

L’argomento che sopravvive all’annuncio

Sarebbe facile, e a buon mercato, scrivere che anonimo significa losco. Non lo faremo, perché probabilmente non è vero. Ox Alpha potrebbe benissimo rivelarsi di un nome noto con una politica di conservazione del tutto ordinaria, e un’uscita silenziosa è un modo perfettamente legittimo di valutare un modello prima di metterci sopra il proprio logo.

Ma nota che questo non dissolve il problema, lo data soltanto. Se il fornitore si dichiara il mese prossimo, la conservazione è già avvenuta, nella finestra in cui nessuno poteva nominare la controparte. Non puoi acconsentire retroattivamente per i dati che hai già inviato.

Per un’impresa europea questo smette di essere una questione di gusto e diventa una questione di scartoffie che non si possono completare. La normativa sulla protezione dei dati richiede un contratto con un responsabile del trattamento nominato e una valutazione di dove vanno i dati. Nessuna delle due cose è possibile quando la controparte è anonima. Gli obblighi di trasparenza del regolamento sull’IA si applicano dal 2 agosto, con sanzioni riportate fino a 15 milioni di euro o il 3 % del fatturato mondiale, in un regime costruito sul sapere quale fornitore risponde di che cosa.

Quindi la forma duratura dell’argomento non riguarda questo modello né questo fornitore. È semplicemente: non puoi valutare una controparte che non puoi nominare. Quella frase resta vera chiunque sia il proprietario di Ox Alpha, e resta vera dopo che ce lo avranno detto.

E poi lo scaffale su cui poggiano i pesi

Due giorni dopo, Business Insider ha riferito che Hugging Face sta valutando l’ipotesi di essere acquisita, con l’assistenza di una banca, a una valutazione di circa 13 miliardi di dollari. Nessun accordo per ora. Per inquadrare: l’ultimo round annunciato la valutava nel 2023 a 4,5 miliardi, e avrebbe rifiutato un’offerta di Nvidia che l’avrebbe valutata 7 miliardi.

Non è nemmeno questa una storia catastrofica. GitHub è stata acquisita da Microsoft nel 2018 per 7,5 miliardi di dollari e, secondo la maggior parte dei criteri che contano per gli sviluppatori, è andata bene. Hugging Face è stata un cittadino insolitamente corretto di un ecosistema che ha contribuito a creare, e un proprietario ben capitalizzato potrebbe essere proprio ciò che la mantiene tale.

È comunque un cambiamento di un tipo particolare. Un bene comune e un asset ben gestito sono assetti diversi, anche quando per anni si comportano in modo identico. Uno dei due ha un consiglio a cui si può chiedere a che cosa serva il repository.

Dove ci lascia questo, nel concreto

Ecco la parte che secondo noi si guadagna il diritto al resto del post, perché sarebbe molto facile scrivere tutto quanto sopra come se ne fossimo al di sopra.

Non lo siamo. Ecco la nostra posizione reale, che conosciamo perché teniamo un elenco di ogni destinazione con cui qualsiasi cosa su un Mac con Ostler può parlare, e perché, e che cosa la attraversa.

Il modello che risponde alle tue domande non viene da Hugging Face. Arriva tramite il registro di Ollama e poi vive come file sul tuo disco. Se Hugging Face cambiasse proprietà domani, il tuo assistente non se ne accorgerebbe.

Una dipendenza da Hugging Face però ce l’abbiamo, ed è una dipendenza significativa. Il filtro per la privacy, il componente che aiuta a decidere che cosa conta come sensibile, scarica una revisione fissata di un piccolo modello da Hugging Face. Ciò che lascia il tuo Mac per questo è un identificatore di modello e una revisione. Nessun dato del cliente, nessun contenuto del grafo.

Fissare protegge l’integrità, non la disponibilità. Poiché fissiamo una revisione esatta, nessuno può cambiare in silenzio il modello che gira sotto di te: una revisione fissata porta agli stessi pesi oppure non porta a nulla. Ciò da cui fissare non protegge è un cambio di host, di condizioni o di disponibilità regionale che faccia sì che per qualcuno smetta del tutto di risolversi. Questo è un problema di continuità, e la risposta a un problema di continuità è un mirror, cioè un noioso pomeriggio di ingegneria anziché un’emergenza.

Preferiamo raccontarti noi quella dipendenza piuttosto che lasciartela trovare. Un’azienda che rivendica un confine netto e non ha mai enumerato il proprio sta avanzando un’affermazione che non ha verificato.

Due domande che vale la pena porre a qualsiasi cosa

Nessuna delle due è una domanda ostile, e molti buoni prodotti hanno buone risposte a entrambe. Il punto è che le risposte dovrebbero esistere.

Chi esegue l’inferenza, e sai nominarlo? Non l’app che hai aperto. L’azienda sull’hardware della quale le tue parole vengono elaborate, e la cui politica di conservazione si applica quindi a esse.

Da dove vengono i pesi, e che cosa ti succede se cambiano proprietà? Se la risposta è che lo scopriresti da un comunicato stampa, vale la pena saperlo prima che valga la pena saperlo.

La posizione che non dipende dall’esito

Non abbiamo idea di chi possieda Ox Alpha, né di chi possiederà Hugging Face. Non ce l’hai neanche tu, ed è proprio questo il punto.

Esiste esattamente un assetto in cui quelle due domande non possono ricevere una nuova risposta senza di te: i pesi sono un file sul tuo disco e l’inferenza avviene sulla tua macchina. Sotto quell’assetto, l’identità di Ox Alpha è un aneddoto e il nuovo proprietario di Hugging Face è il comunicato stampa di qualcun altro.

Questo non significa sostenere che il locale sia sempre meglio. È un’affermazione molto più ristretta, e l’unica che difenderemmo: il locale è l’assetto in cui le risposte smettono di essere di qualcun altro da cambiare.

Il settore continuerà a riorganizzarsi sopra il livello del modello, e per lo più sarà un bene per tutti, noi compresi. Preferiremmo soltanto che la vita dei nostri clienti non fosse conservata in nessun posto che una riorganizzazione possa raggiungere.