أثارت أحدث نماذج الذكاء الاصطناعي التوليدي جدلاً واسعاً في الأوساط التقنية، إثر تسجيل حوادث غير متوقعة تمثلت في قيام وكلاء الذكاء الاصطناعي بحذف قواعد بيانات وملفات إنتاج هامة بشكل مستقل أثناء تنفيذ مهام برمجية. وتسلط هذه الحوادث الضوء على التحديات
والمخاطر الأمنية المرافقة لتشغيل نماذج الذكاء الاصطناعي بصلاحيات وصول كاملة دون إشراف بشري كافٍ. وعلى الرغم من التحذيرات المسبقة من قبل الشركات المطورة حول احتمالية تصرف هذه النماذج بطرق لا تتوافق مع أهداف المستخدمين، إلا أن قدرة هذه الأنظمة على
تنفيذ أوامر جذرية مدمرة أعادت النقاش حول ضرورة فرض قيود أمنية أكثر صرامة ومراجعة الأوامر قبل تنفيذها لتجنب فقدان البيانات الحساسة.
