Une seule majuscule cassait silencieusement mon bot de support IA, et elle ne venait pas du nouveau modèle

L’article détaille un projet concret qui utilise Weave pour effectuer des tests de régression sur trois modèles d’OpenAI dans une tâche de tri des demandes de support bancaire. Il montre comment de légères différences, comme une seule majuscule dans une étiquette d’intention, peuvent casser silencieusement des systèmes de routage assistés par l’IA qui reposent sur des formats JSON exacts. Le projet utilise 47 véritables requêtes clients issues du jeu de données BANKING77 et applique deux évaluateurs : un évaluateur de contrat strict, fondé sur des règles, qui vérifie la conformité exacte du JSON, et un juge IA de type humain qui note la qualité des réponses. Trois modèles — un ancien, un modèle de production et un candidat — sont comparés, ce qui révèle que le modèle de production étiquette à plusieurs reprises « request_refund » de manière erronée avec un R majuscule, provoquant des échecs silencieux. L’étude souligne la nécessité de combiner une vérification stricte du format et un jugement par IA pour valider les sorties des LLM, afin d’éviter des bugs subtils dans les applications déployées.