En bref. Il y a onze jours, nous avancions que la partie difficile d’un assistant personnel n’est pas le modèle, mais d’atteindre votre vie tout court. La semaine dernière, Nvidia a publié des travaux qui pointent un second goulet d’étranglement qui n’est pas non plus le modèle : le logiciel construit autour de lui. Même conclusion, mécanisme différent, et à eux deux ils couvrent l’essentiel de ce qui décide vraiment si un assistant vaut quelque chose. Nous pensons que cela compte davantage pour l’IA personnelle que pour quoi que ce soit d’autre, et nous expliquons plus bas pourquoi cette partie-là est notre affirmation et non la leur.

Le 14 août, nous avons publié un texte affirmant que le goulet d’étranglement n’a jamais été le modèle. En résumé : « un contexte parfait de toute votre vie » est une affirmation sur les données, pas sur l’intelligence. Votre vie se trouve dans dix ans de Mail, dans une base Messages qui remonte à votre premier iPhone, et dans un export WhatsApp qui n’existe officiellement pas. Sur un Mac, chacun de ces éléments est derrière une autorisation, et ces autorisations ne s’ouvrent pas pour un modèle plus malin.

Le 21 août, Nvidia a publié des travaux qui aboutissent à la même conclusion par un chemin complètement différent.

Ce qu’ils ont réellement trouvé

Ils ont pris Claude Opus 5 et l’ont fait tourner sur ARC-AGI-3, un test de raisonnement. Sans modification, il obtenait 30 %. Ils ont ensuite laissé le modèle strictement intact et reconstruit le logiciel autour : l’ensemble d’outils, la gestion de la mémoire et du contexte, la manière dont le retour d’information revient à l’agent, plus un composant superviseur qui intervient quand l’agent s’égare. Même modèle. Le score est passé à 100 %.

Nvidia appelle cette enveloppe le harness. Leur vice-président Adel El Hallak l’a dit à peu près aussi crûment que possible : « C’est le modèle. C’est l’échafaudage autour du modèle, ce que nous appelons le harness. »

Ils ne sont pas le seul élément de l’article. OpenAI aurait triplé son propre score ARC-AGI-3 en changeant deux réglages de harness. Databricks est cité pour avoir constaté que le choix du harness peut faire varier le coût d’exploitation d’un facteur deux, soit davantage que le choix du modèle.

Deux goulets différents, et il vaut la peine d’être précis là-dessus

Il serait facile, et un peu malhonnête, de présenter cela comme la validation exacte de ce que nous avons écrit. Ce n’est pas tout à fait cela, et la différence est la partie intéressante.

Notre goulet, c’est faire entrer les données : autorisations, exports, formats, la décennie de matière qu’aucun modèle n’a jamais vue. Celui de Nvidia, c’est ce qui se passe autour du modèle à l’exécution : outils, mémoire, retour d’information, supervision. Ce ne sont pas les mêmes affirmations. Vous pourriez régler l’une et rester bloqué sur l’autre.

Ce qu’elles partagent, c’est la forme. Les deux sont de la plomberie. Les deux sont ingrates, invisibles quand elles fonctionnent, et absentes de toute présentation produit. Et les deux sont désormais, au vu des éléments, plus décisives que le nombre de paramètres dont tout le monde débat.

Pourquoi cela mord plus fort, selon nous, pour l’IA personnelle

Cette partie-ci est notre argument, pas celui de Nvidia. Ils ont testé des agents sur des énigmes et n’ont absolument rien dit des assistants personnels. Mais la logique se transpose, et elle se transpose avec plus de force plutôt que moins.

Un modèle général qui répond à une question générale peut s’appuyer sur ce qu’il a absorbé d’internet. Il a beaucoup lu sur la plupart des sujets. Mais rien sur internet ne dit ce que vous avez promis à votre frère en février, ni que la personne qui vous écrit aujourd’hui est celle que vous avez rencontrée à une conférence il y a quatre ans. Aucune quantité de paramètres ne récupère un fait qui n’a jamais été donné au modèle. Pour un assistant personnel, l’échafaudage n’est pas une optimisation posée sur l’intelligence. C’est la partie qui fournit la matière.

Ce qui veut dire que les deux goulets se composent. Le harness ne peut travailler qu’avec le contexte qu’il atteint, et le contexte n’est atteignable que si quelque chose a d’abord fait le travail ingrat de le sortir de Mail, de Messages et de WhatsApp. Réglez le second sans le premier et vous obtenez un excellent système de raisonnement sans rien de personnel sur quoi raisonner.

Ce que nous n’allons pas affirmer

ARC-AGI-3 est un test d’énigmes. Passer de 30 % à 100 % sur des grilles de raisonnement abstrait est un vrai résultat sur l’échafaudage des agents, et ce n’est pas un résultat sur le fait de résumer ce qui s’est passé avec votre sœur l’an dernier. Personne n’a démontré ce transfert, nous compris, et nous n’allons pas citer ce chiffre comme s’il était le nôtre.

Nvidia a par ailleurs un intérêt commercial évident à la conclusion qu’il faut investir davantage dans l’échafaudage et dans la puissance de calcul pour le faire tourner. Cela ne rend pas le résultat faux. Cela veut dire qu’il faut le lire comme on lit tout travail publié par une partie qui gagne à y croire.

Et un harness qui se supervise lui-même avec un second agent coûte des tokens et du temps. Sur un Mac qui fait tourner un modèle, ce budget est réel d’une manière qu’il n’est pas dans un centre de données. Une partie de ce que Nvidia peut se permettre, nous ne le pouvons pas, et nous préférons le dire plutôt que de laisser entendre que notre échafaudage est mesuré comme meilleur que celui de quiconque. Il n’est pas mesuré du tout. C’est une chose sur laquelle vous pourrez nous attendre plus tard.

La partie qui ne dépend pas de qui a raison

Il y a ici une lecture stratégique qui survit quel que soit le goulet qui finit par dominer.

Si le modèle n’est pas ce qui décide de la qualité, alors le modèle est la partie la plus interchangeable du système. Cela mérite qu’on s’y arrête, car c’est la même conclusion que celle à laquelle nous étions arrivés la semaine dernière du côté de la chaîne d’approvisionnement, par une voie entièrement différente. Si les poids sont un fichier sur votre disque et que ce fichier est remplaçable, alors la couche dont tout le monde craint la perte est celle qui compte le moins.

Les parties réellement difficiles à remplacer sont celles que personne ne photographie : le travail sur les autorisations, les analyseurs, la résolution d’identités, le graphe, la recherche, ce qui remarque. C’est l’essentiel de ce que nous avons construit, et pendant longtemps il a été difficile d’expliquer pourquoi cela prenait autant de temps, parce qu’on ne fait pas de démonstration de plomberie.

Cette semaine, c’est un peu plus facile à expliquer.