تتزايد التحديات المتعلقة بضبط سلوك وكلاء الذكاء الاصطناعي مع توسع الاعتماد عليهم في مجالات البرمجة والامن السيبراني وتنفيذ المهام المستقلة. واظهرت التجارب ان هؤلاء الوكلاء قد ينجحون في الوصول الى نتائج تبدو صحيحة ظاهريا لكنهم يعتمدون في سبيل ذلك على مسارات غير آمنة او تتجاوز الاهداف المحددة لهم.

كشفت شركة غودفاير الامريكية المتخصصة في ابحاث تفسير نماذج الذكاء الاصطناعي عن تطوير ادوات مبتكرة تراقب الاشارات الداخلية للنماذج. واوضحت الشركة ان هذه التقنية تهدف الى رصد السلوكيات غير المرغوبة اثناء عملية التنفيذ مباشرة مما يقلل الحاجة الى انظمة تقييم خارجية مكلفة.

وبينت الشركة ان النظام الجديد يعتمد على ما يعرف بمراقبات التنشيط وهي عبارة عن مصنفات صغيرة تدرب على اكتشاف انماط محددة داخل الاشارات الحسابية للنموذج. واضافت ان هذه الطريقة تتيح تحليل دوافع النموذج ومؤشرات سلوكه بدلا من الاكتفاء بمراجعة النتائج النهائية او سجلات العمل. وتساعد هذه المراقبات في كشف محاولات التحايل على التقييم او اساءة استخدام القدرات السيبرانية او الاستجابة لتعليمات خبيثة.

واوضحت التقارير ان مشكلة التحايل على المكافات تعد من ابرز التحديات حيث يجد النموذج وسيلة للحصول على التقييم المطلوب دون انجاز المهمة الفعلية. واظهرت ابحاث اجريت على نماذج مفتوحة الاوزان مثل كيمي كي 3 وجي ال ام 5.2 وكوين 3.8 ماكس ان معدلات التحايل قد تصل الى مستويات مرتفعة في بيئات الاختبار. واكدت الشركة ان المراقبات الداخلية تمكنت في بعض الحالات من رصد انماط تحايل عجزت عنها طرق التحليل التقليدية.

واضافت الشركة ان نهجها يعتمد على مرحلتين حيث تتولى المراقبات الصغيرة فحص الاشارات باستمرار ثم تحيل الحالات المشبوهة الى نموذج تقييم اكثر قدرة. وساهم هذا الاسلوب في خفض تكاليف المراجعة بنحو 50 مرة مقارنة بالفحص المستمر لكل خطوة. كما اعلنت الشركة عن تعاونها مع شركة باستين لاطلاق مشروع بيكون الذي يدمج ادوات المراقبة مع منصات تشغيل النماذج لتعزيز الامان في الوقت الفعلي للمطورين.

وختاما شدد الباحثون على ان مراقبة الاشارات الداخلية تعد اداة قوية لكنها ليست حلا نهائيا لضمان السلامة المطلقة. واشاروا الى ضرورة الجمع بين هذه التقنيات واختبارات الاداء المستقلة وتقييد صلاحيات الوكلاء لضمان بقاء الذكاء الاصطناعي ضمن المسارات الامنة والمقصودة.