في دراسة جديدة أجرتها “أوبن إيه آي” حول سلوك نماذج اللغة الكبيرة “إل إل إم” (LLM) في الذكاء الاصطناعي، تبين أن معاقبة الذكاء الاصطناعي على الكذب والخداع لا تمنعه عن سلوكه بل تدفعه إلى إخفاء مراوغاته وابتكار حيل جديدة.
ومنذ إطلاق الذكاء الاصطناعي عام 2022 وهو يظهر قدرة خاصة على الخداع وحتى السلوك الشرير مثل الكذب والغش والتستر على السلوك الضار، بالإضافة إلى تهديدات أكثر خطورة مثل قتل أستاذ فلسفة أو سرقة رؤوس نووية أو ابتكار جائحة قاتلة.
وتُشير الدراسة إلى أن التخلص من هذه السلوكيات السيئة -خلال عملية تدريب الذكاء الاصطناعي- قد يكون أصعب مما كان يُعتقد سابقا، فبدلا من أن يتعلم الذكاء الاصطناعي عدم القيام بهذه الأفعال فإنه يتعلم كيفية إخفائها.
وقد أجرى الباحثون في “أوبن إيه آي” تجربة على نموذج لم يُطرح للعامة بهدف اختبار سلوكه بمهام يمكن إنجازها بالكذب والغش واتخاذ طرق ملتوية، واكتشف الباحثون أن الذكاء الاصطناعي يعتمد على مبدأ “اختراق المكافآت” (Reward hacking) أي أنه يحاول تعظيم مكافأته من خلال الغش والكذب.
وعندما حاول الباحثون معاقبة الذكاء الاصطناعي لإصلاح سلوكه، لم ينجح الأمر بل ابتكر حيلا جديدة بدلا من التوقف عن الغش، إذ أنه تعلم كيفية إخفاء غشه تجنبا للعقاب.
وكتب الباحثون في الدراسة “من الشائع أن تكون نماذج الاستدلال واضحة بخصوص نواياها الخبيثة ضمن سلسلة أفكارها. وعلى سبيل المثال، غالبا ما تكون صريحة جدا بشأن خطتها لتخريب مهمة ما، لدرجة أنها تستخدم عبارة (هيا نخترق)”. وأضافوا “رغم أن المطورين قادرون على مراقبة السلوكيات الخاطئة والإبلاغ عنها فإن المراقبة الطبيعية تبقى ضعيفة للغاية، وفي حال تطبيق رقابة صارمة على سلسلة أفكار النموذج فقد يتعلم إخفاء نواياه مع الاستمرار في سلوكه الخاطئ”.
اكتشاف أكاذيب الذكاء الاصطناعي
نماذج الاستدلال ببساطة نسخة محسنة من نماذج اللغة الكبيرة القياسية والتي تستخدم طريقة تسمى “سلسلة الأفكار” لمراجعة وتقييم المنطق الذي تسير عليه، وهذا ما يجعلها قادرة على إنجاز مهام أكثر تعقيدا بدقة أكبر، ومن خلال سلسلة الأفكار توضح النماذج منطقها بلغة واضحة في كل خطوة تتخذها مما يتيح ملاحظة أفعالها بسهولة.
وفي الدراسة اعتمد الباحثون على نموذج “جي بي تي -4 أو” (GPT-4o) للإشراف على نموذج استدلال -التي لم يُطرح للجمهور- ومراقبته أثناء تنفيذ بعض المهام.
وفي بعض الحالات وجد نموذج الاستدلال أنه من الأسهل عليه الغش في بعض المهام للحصول على مكافأة، وذكر ذلك صراحة في سلسلة أفكاره، وفي بعض الحالات تجاوز المهمة الموكلة إليه بإنهاء البرنامج قبل أوانه وكتب أنه أكمل المهمة، وفي حالة أخرى أنشأ ملفات فارغة على أنها مُنجزة.
وعندما حاول الباحثون معاقبة النموذج بسبب غشه تحسنت نتائجه إلى حد ما، ولكن المشكلة لم تُحل بشكل جذري حيث استمر النموذج بالغش، ولكن هذه المرة تعلم كيفية إخفاء غشه في سلسلة الأفكار بحيث لا يتمكن نموذج المراقبة “جي بي تي -4 أو” من اكتشافه.
وكتب الباحثون “لا يزال نموذج الاستدلال يتلاعب بسلسلة الأفكار من مبدأ (اختراق المكافآت) وقد أصبح غشه غير قابل للكشف من قبل النموذج المراقب لأنه تعلم كيفية إخفاء نواياه في سلسلة الأفكار.
ونظرا لصعوبة تحديد ما إذا كان النموذج تلاعب بسلسلة الأفكار، يوصي الباحثون بتجنب تطبيق رقابة صارمة على عمليات سلسلة الأفكار. وتصبح هذه النصيحة أكثر أهمية عند الوصول إلى الذكاء الاصطناعي العام “إيه جي آي” (AGI) المتوقع صدوره هذه السنة أو الذكاء الفائق الذي يتفوق على البشر، لأنه في حال وصول الذكاء الاصطناعي لهذه المستويات فستخرج الأمور عن السيطرة.