Le 10 septembre, l'équipe d'ingénierie d'UiPath a comparé deux paliers Claude sur plus de 400 tâches d'automatisation réelles. Le résultat renverse une intuition répandue : « prendre le petit modèle et monter d'un cran en cas d'échec » ne fonctionne pas comme on le croit.
Un modèle moins cher est-il vraiment moins capable ?
Les benchmarks disent 6 points, le terrain dit 44
Sur SWE-bench Verified, Claude Haiku 4.5 affiche 73,3 % contre 79,6 % pour Sonnet 4.6 — six points d'écart, pour un prix trois fois inférieur. Mêmes modèles, même jour, même harnais sur les tâches maison d'UiPath : 42,0 % contre 85,6 %. Quarante-quatre points.
L'explication n'est pas la malhonnêteté des benchmarks, c'est ce qu'ils mesurent. Un test SWE-bench demande un petit patch sur un dépôt qui tourne déjà, et l'agent peut lancer les tests du dépôt pour se corriger lui-même. Les tâches d'UiPath demandent un artefact complet, évalué une seule fois, par un contrôleur que l'agent ne voit jamais. Pas de seconde chance : un mauvais choix à la commande 3 reste faux à la commande 40.
La bonne variable : le nombre d'étapes
Le reste tient en une courbe. Sur une ou deux commandes, Haiku 4.5 et Sonnet 4.6 passent exactement au même taux : 89,5 %. Payer le palier cher là ne rapporte rien. Au-delà de 40 commandes, Haiku finit une tâche sur cinq, Sonnet quatre sur cinq. Entre les deux, chaque doublement de longueur retire 13,6 points de réussite à Haiku, contre 2,8 à Sonnet.
Le mécanisme est celui de l'erreur composée : si une étape est juste avec une probabilité p, une chaîne de n étapes n'aboutit qu'avec p puissance n. Une différence invisible par étape (99 % contre 97 %) devient béante sur 40 étapes.
Ce qu'on en fait
- Router par longueur de tâche, pas par prestige du modèle : résumé, classification, extraction → palier économique ; chaîne longue non vérifiable en route → palier supérieur.
- Ne jamais croire un chiffre de benchmark sorti de son contexte : le même écart de 6 points devient 44 sur un jeu de tâches réalistes.
- Mesurer chez soi : le harnais est open source (Coder Eval, dépôt UiPath) et les compteurs d'étapes existent déjà dans les exécutions. L'analyse ne coûte presque rien une fois les runs effectués.
C'est la logique de la cascade LLM de l'Arsenal : un modèle par palier, l'escalade seulement quand la tâche est longue. « Gratuit d'abord » ne veut rien dire tout seul — cela veut dire « gratuit pour les tâches courtes, et on paie quand la longueur est réelle ».
© 2026 Arsenal — Serge. Tous droits réservés. Le système Arsenal — protocoles, méthodes, contenus — est exclusif : toute reproduction, adaptation ou diffusion sans autorisation écrite est interdite. Partage des articles autorisé avec mention de la source et lien vers l'original.
Pour aller plus loin
Sonnet 5.5 : le vrai signal, c'est 30 % de facture en moins
Construction de l'Empire — Prologue : LMP, le protocole mémoire perpétuelle
Construction de l'Empire #1 — Le jour où j'ai coupé mes abonnements IA payants
## 🛡️ Vérification OSINT - Source vérifiée (WHOIS/Domaine) : [Lien] - Image vérifiée (Reverse Search) : [Lien] - Méthode de validation : framework OSINT