حرف كبير واحد كان يعطّل روبوت الدعم الذكي لديّ بصمت، ولم يكن في النموذج الجديد

يعرض المقال تفاصيل مشروع واقعي يستخدم Weave لإجراء اختبارات انحدار (regression testing) على ثلاثة نماذج من OpenAI في مهمة فرز طلبات الدعم المصرفي. ويوضح كيف يمكن لفروق طفيفة، مثل حرف كبير واحد في تسمية النية (intent label)، أن تعطّل بصمت أنظمة التوجيه المدعومة بالذكاء الاصطناعي التي تعتمد على صيغ JSON دقيقة. ويستخدم المشروع 47 استفسارًا حقيقيًا من العملاء من مجموعة بيانات BANKING77، ويطبّق أداتي تقييم: أداة تقييم صارمة قائمة على القواعد تتحقق من الالتزام الدقيق بصيغة JSON المتفق عليها، وحَكَمًا بالذكاء الاصطناعي يحاكي التقييم البشري ويقيّم جودة الاستجابات. وتجري المقارنة بين ثلاثة نماذج — نموذج أقدم، ونموذج الإنتاج، ونموذج مرشّح — لتكشف أن نموذج الإنتاج يخطئ مرارًا في تسمية «request_refund» بكتابة حرف R كبيرًا، ما يسبب إخفاقات صامتة. وتؤكد الدراسة ضرورة الجمع بين التحقق الصارم من الصيغة وتقييم الذكاء الاصطناعي عند التحقق من صحة مخرجات النماذج اللغوية الكبيرة (LLM) لتجنّب الأخطاء الخفية في التطبيقات المنشورة.