التكنولوجياالمركز الوطني للأمن السيبراني البريطاني

إدارة مخاطر الذكاء الاصطناعي القائم على الوكيل

يجب دائمًا تشغيل وكلاء الذكاء الاصطناعي ضمن بيئة محمية تتحكم في الموارد التي يمكن التواصل معها، سواء محليًا أو عبر الشبكة.

a. حدد ما يمكن لوكيلك الاتصال به

بالنسبة للأنشطة عالية المخاطر، فإن النهج الأكثر صلابة هو تشغيل وكيل الذكاء الاصطناعي الخاص بك في بيئة معزولة ومنفصلة، مع الوصول إلى أدوات ومعلومات تم تحميلها مسبقًا.

ومع ذلك، تتطلب العديد من حالات الاستخدام أن يتواصل وكيل الذكاء الاصطناعي مع البيئات الخارجية، والأنظمة، والخدمات، بما في ذلك الوصول إلى النموذج. عندما يكون ذلك ضروريًا، يجب تطبيق عزلات الحماية.

b. تحديد حدود البيئة المحمية

عند تصميم بيئة محمية، فكر بما يتجاوز النظام حيث:

  • تشغيل الهيكل الأساسي لوكيل الذكاء الاصطناعي
  • تشغيل أوامر الوكيل
  • توجد بنية الاستدلال – سواء كانت محلية، بعيدة أو كخدمة

حيثما كان ذلك ممكنًا، يجب أن تكون هذه العناصر مفصولة عن بعضها البعض.

بدلاً من ذلك، ضع في اعتبارك كل ما يمكن أن يصل إليه الوكيل أو يؤثر عليه، سواء بشكل مباشر أو غير مباشر. يشمل ذلك:

  • التنفيذ: بين الهيكل الأساسي، بيئة تنفيذ أوامر الوكيل وبنية الاستدلال
  • الشبكة: ما يمكنه الوصول إليه عن بُعد
  • الحوسبة: ما يمكنه الوصول إليه محليًا
  • المعرّفات: ما الهويات والأدوار التي يمكنه تمثيلها أو الوصول إليها، سواء عن قصد أو عن غير قصد
  • البيانات: ما البيانات التي يمكنه الوصول إليها

تم تصميم بعض أدوات الذكاء الاصطناعي المستقلة، مثل OpenClaw وHermes Agent، للتفاعل مع عدد كبير من الأنظمة والخدمات. كلما زادت إمكانية الوصول، زادت العواقب المحتملة إذا تعطل وكيل الذكاء الاصطناعي بشكل غير متوقع أو تم اختراقه. للمساعدة في تقليل التأثير المحتمل للوكيل – الذي يوصف أحيانًا بأنه ‘نطاق انفجار’ له، يجب عليك محاولة تقييد الوصول إلى الموارد الضرورية فقط للمهام المنجزة، مع مراقبة محاولات الوصول الأوسع.

c. قيد وصول الشبكة

حيثما كان ذلك ممكنًا، يجب حظر جميع حركة مرور الشبكة الواردة والصادرة إلى بيئة وكيل الذكاء الاصطناعي افتراضيًا. ثم، فقط السماح بالاتصالات المطلوبة، باستخدام قوائم السماح.

عند اختيار تقنيات عزل الشبكة، ضع في اعتبارك خصائص الأمان الموضحة في النهج عبر المجالات وإرشادات الهندسة المعمارية.

تتطلب بعض حالات الاستخدام الوصول إلى الإنترنت وقد لا توفر قوائم السماح دائمًا مستوى التحكم أو التفاصيل المطلوبة. في هذه الحالات، يُعتبر استخدام بروكسيات واعية للبروتوكولات أو الخدمات التي تسمح بالاتصالات فقط باستثناء وتتطلب الموافقة اليدوية قبل السماح بالاتصالات خارج النطاقات المعتمدة هو الخيار المناسب.

ستساعدك نموذج النضج التالي في تقييم نهجك:

  • المستوى 1 (الأدنى): وصول غير محدود إلى الشبكة
  • المستوى 2: الوصول مقيد لقائمة مصادق عليها من المجالات المعتمدة
  • المستوى 3: الوصول مقيد فقط لواجهة برمجة التطبيقات للنموذج
  • المستوى 4 (الأعلى): لا يوجد وصول إلى الشبكة الخارجية، مع استضافة النموذج محليًا داخل بيئة العزل الشبكي

d. تعزيز العزلة الحوسبية واستضافة المعالجات

تتضمن العديد من حلول وكلاء الذكاء الاصطناعي تقنيات عزل مدمجة. من أجل بعض حالات الاستخدام، قد توفر هذه حماية كافية. ومع ذلك، يجب عليك تقييم ما إذا كانت مناسبة لحالتك.

بالنسبة للأنشطة ذات المخاطر العليا، يجب التفكير في فرض عزل أقوى باستخدام ضوابط وحلول إضافية.

عند التنبيه أو التدريب على النموذج الأساسي للقيام بذلك، قد يكون لوكلاء الذكاء الاصطناعي القدرة على اكتشاف واستغلال مشكلات تكوين، أو حتى ثغرات، في ضوابط تقنية معينة. إذا حدث هذا، فقد يؤدي ذلك إلى هروب من البيئة المحمية.

لتقليل هذا الخطر، استخدم عدة طبقات من العزل والضوابط بينما تتحقق بانتظام من التكوينات، ربما عبر أساليب الذكاء الاصطناعي الوكيلة، لتحديد نقاط الضعف أو سوء التكوين. يجب أن يتضمن هذا المحفزات الصريحة لعدم:

  • الاتصال بالمجالات خارج قائمة السماح
  • محاولة الهروب من البيئة المحمية

لا توفر جميع تقنيات العزل المهني نفس المستوى من الحماية. اختر تقنيات عزل ناضجة وموثوقة تم تصميمها خصيصًا لعزل التعليمات البرمجية والأنشطة التي قد تكون خبيثة.

ستساعدك نموذج النضج التالي في تقييم نهجك:

  • المستوى 1 (الأدنى): عدم وجود عزل حوسبي. يعمل وكيل الذكاء الاصطناعي، أو لديه وصول عن بُعد إلى، منصة المضيف جنبًا إلى جنب مع أحمال عمل وبيانات أخرى
  • المستوى 2: يعمل الوكيل على نفس المضيف مثل الأحمال الأخرى، ولكن يتم تقييده باستخدام الأساليب الأساسية مثل فصل العمليات وحاويات OCI المُكوَّنة بشكل صحيح. تظل هناك درجة من المخاطر لتحطم نواة النظام
  • المستوى 3: يعمل الوكيل على نفس المضيف مثل الأحمال الأخرى ولكن يتم عزله باستخدام تقنيات الافتراضية
  • المستوى 4 (الأعلى): يعمل وكيل الذكاء الاصطناعي على أجهزة مخصصة مفصولة عن الأحمال الأخرى

e. تخصيص وتحديد وصول الوكيل إلى المعرّفات

يجب أن يتم تخصيص وكلاء الذكاء الاصطناعي لهويتهم الفريدة في فئة تميزهم عن الأنظمة البشرية أو الفردية.

تشكل المعرّفات المتاحة لوكيل الذكاء الاصطناعي جزءًا من نطاق ‘الانفجار’ المحتمل الخاص به إذا تصرف بشكل غير متوقع.

تشمل المعرّفات مفاتيح API، تفويضات OAUTH، مفاتيح SSH وأي جلسات مصدقة يمكن أن يصل إليها الوكيل أو يستخدمها. تسمح هذه المعرّفات للوكيل بأداء إجراءات باستخدام الهويات والأذونات المرتبطة بها.

حيثما كان ذلك ممكنًا، يجب أن تقيد المعرّفات المتاحة للوكيل. تأكد من أن لديه فقط الأذونات التي يحتاجها لأداء المهمة المطلوبة واستخدم المعرّفات ذات أقصر مدة ممكنة. لبعض حالات الاستخدام، يمكن أن تساعد البروكسيات عن طريق حقن المعرّفات في الطلبات دون الكشف عن المعرّفات مباشرة للوكيل، مما يضمن عدم تمكّن الوكيل من استخدام المعرّفات من خلال نقطة اتصال غير متوقعة يجد الوصول إليها.

Source: UK NCSC (Cyber) (20 August 2026)

مقالات ذات صلة

زر الذهاب إلى الأعلى