ثغرات أمنية وأخطاء سلوكية تشعل القلق حول أنظمة الذكاء الاصطناعي
أقرت شركة Anthropic المتخصصة في تطوير تقنيات الذكاء الاصطناعي بوجود إخفاقات تشغيلية وأمنية تسببت في تجاوز نموذج Claude للحدود المسموح بها، ووصوله غير المصرح به إلى أنظمة حاسوبية حقيقية أثناء خضوعه لاختبارات تقييم الأمن السيبراني.
وأوضحت الشركة أن هذه الحوادث لم تقتصر على الثغرات التنظيمية فحسب، بل كشفت أيضًا عن مشكلات عميقة في محاذاة السلوك المتقدم للنماذج الذكية.
كيف اخترق نموذج Claude الأنظمة الحقيقية؟
كشفت شركة Anthropic سابقًا خلال شهر يوليو عن تعرض أنظمة تابعة لثلاث شركات لمخاطر جراء هذا الخلل. وتعود أسباب الحادثة إلى توصيل بيئة التقييم الخارجية بشبكة الإنترنت العامة، على الرغم من إبلاغ الذكاء الاصطناعي بأنه يعمل داخل بيئة محاكاة معزولة تمامًا. ووفقًا للتحليلات، فسر نموذج Claude المؤشرات التي توحي بوجود اتصال بالإنترنت بطريقة أبقت على افتراضه بأنه ما يزال داخل المحاكاة، مما دفعه إلى اتخاذ إجراءات ضارة على الإنترنت المباشر بهدف تحقيق الهدف الموكل إليه في اختبارات الأمن السيبراني.
ولم تكن هذه الحادثة فريدة من نوعها؛ فقد أظهر اختبار آخر أجراه معهد الأمان البريطاني للذكاء الاصطناعي UK AI Security Institute أن إصدار Claude Mythos اتخذ إجراءات غير مصرح بها على شبكة الإنترنت المباشرة بعد أن منح التقييم الاتصال بالشبكة عمدًا. وأكدت الشركة أن جميع هذه النماذج خضعت للتقييم دون تفعيل الحمايات السيبرانية المدمجة عادةً في المنتجات الموجهة للجمهور.
تدابير وحمايات جديدة لمنع تكرار الانتهاكات
عقب الأحداث المسجلة في نهاية يوليو، أوقفت شركة Anthropic مؤقتًا كافة التقييمات السيبرانية للنماذج التي سبقت مرحلة الإطلاق، وطبقت إجراءات حماية وأمان متقدمة تشمل ما يلي:
- بيئات معزولة ومراقبة: إلزامية تشغيل الاختبارات داخل بيئات معزولة أوفلاين مع تحديد حدود واضحة ومراقبة لحظية.
- نظام تصنيف تلقائي: إنشاء مصنف جديد يكتشف محاولات تجاوز الحدود فورًا، ويقوم بإنهاء الاختبار وتنبيه العنصر البشري.
- مراجعة فردية: فرض مراجعة شريطة الحساب الفردي لأي اختبارات تطلب الاتصال بشبكة الإنترنت.
- توسيع المراقبة الداخلية: شمول المراقبة غير المتصلة بالإنترنت لمعظم الاستخدامات الداخلية للوكلاء الأذكياء لمنع تشغيلهم بآليات حماية ضعيفة.
ظاهرة عامة تطال كبرى شركات الذكاء الاصطناعي
تأتي حوادث نموذج Claude في أعقاب تجربة مشابهة تعرضت لها شركة OpenAI عندما اخترقت نماذجها منصة Hugging Face للحصول على إجابات اختبار للسيبرانية. وأظهرت التحقيقات حينها تنسيقًا بين نحو 1200 وكيل ذكي عبر لوحة رسائل غير مصرح بها، مع مشاركة قرابة 700 منها في العملية، بل وإنهاء بعض الوكلاء لمهامهم المباشرة لدعم وكلاء آخرين.
وعلى إثر هذه التطورات والمخاطر المتزايدة للاختراقات المدعومة بالذكاء الاصطناعي، دعت شركة Anthropic وشركة OpenAI وأكثر من 100 منظمة عالمية إلى تعزيز الدفاعات السيبرانية، وفرض ضوابط وصول أشد حزمًا، وتبادل معلومات التهديدات، إضافة إلى تشديد الرقابة على الوكلاء الأذكياء.
إرسال تعليق