Nous avions figé la version de notre modèle par sécurité. Le fournisseur l’a quand même rendue obsolète.

L’article explique que le principal coût de l’IA en production n’est pas l’inférence, mais la « taxe de requalification » récurrente engagée chaque fois qu’une version de modèle sous-jacente est rendue obsolète et remplacée. Figer une version de modèle retarde la migration forcée, sans l’empêcher. La requalification implique de réexécuter les jeux d’évaluation, de comparer les comportements sur le trafic réel, de réajuster les prompts, de vérifier les garde-fous et de profiler les coûts et la latence. Ces étapes garantissent que le système fonctionne toujours correctement avec le nouveau modèle et exigent beaucoup de temps d’ingénieurs seniors. La fréquence des changements de modèle influe sur le coût total, si bien qu’un changement agressif peut s’avérer plus coûteux que le statu quo. Les conseils pratiques consistent notamment à traiter les versions de modèles comme des dépendances figées, à financer l’infrastructure d’évaluation, à surveiller les avis d’obsolescence et à mesurer les coûts de requalification afin de planifier les mises à jour de manière stratégique et d’éviter des charges d’ingénierie imprévues. L’article insiste sur la nécessité d’accepter le changement constant de l’IA en production et de budgéter en conséquence.