خدمة
أمن الذكاء الاصطناعي / النماذج اللغوية
اختبر وحوكم ميزات الذكاء الاصطناعي التي تطلقها قبل أن تُخرج بياناتك.
تُدخل ميزات الذكاء الاصطناعي والنماذج اللغوية مخاطر لم يُبنَ لها الاختبار التقليدي: حقن التلقين، وتسريب بيانات التدريب والسياق، ونماذج تستدعي أدوات بصلاحيات أكبر من المقصود، ومخرجات لا يمكن الوثوق بها. نختبر هذه الأنظمة كما يسبرها المهاجم.
إلى جانب الاختبار، نساعدك على إرساء الحوكمة التي بدأ المنظّمون والمعايير يطلبونها، ليكون استخدامك للذكاء الاصطناعي قابلاً للدفاع عنه إضافة إلى كونه عملياً.
ما نختبره
حدود التلقين والنظام
نحاول تجاوز تلقين النظام والحواجز لديك بمدخلات مصاغة، بما في ذلك الحقن غير المباشر المحمول في المستندات وصفحات الويب والسياق المسترجع.
خطوط الاسترجاع والسياق
نفحص كيف يجمّع التوليد المعزّز بالاسترجاع السياق وما إذا كان المحتوى غير الموثوق يستطيع تهريب تعليمات أو تسريب بيانات إلى النموذج.
استدعاء الأدوات والدوال
نسبر الإجراءات التي يمكن للنموذج تشغيلها لنرى ما إذا كان يمكن توجيهه نحو استدعاءات بصلاحيات أو امتيازات أكبر من المقصود.
تعرّض البيانات
نتتبع ما يمكن انتزاعه من بيانات حساسة أو بيانات تدريب أو بيانات مستخدمين آخرين عبر مخرجات النموذج أو رسائل الخطأ أو التخزين المؤقت.
الوصول والمصادقة والحدود
نتحقق من ضوابط الوصول إلى النموذج وواجهة البرمجة والمصادقة وتحديد المعدل بحثاً عن إساءة الاستخدام واستنزاف التكلفة والاستخدام غير المصرح به.
معالجة المخرجات
ننظر في كيفية استهلاك الأنظمة اللاحقة لمخرجات النموذج، حيث يمكن للردود غير المتحقق منها أن تؤدي إلى حقن أو عرض غير آمن.
المعايير التي نعمل وفقها
ما المشمول
- اختبار حقن التلقين وكسر القيود ضد تطبيقك
- مراجعة تدفقات البيانات بحثاً عن تسريب بيانات حساسة أو بيانات تدريب
- تقييم استدعاء الأدوات والدوال بحثاً عن صلاحيات مفرطة
- مراجعة الوصول إلى النموذج والمصادقة وضوابط المعدل
- ربط حوكمة الذكاء الاصطناعي مقابل ISO 42001 وEU AI Act
- إرشاد حول الحواجز والمراقبة للأنظمة الحية
ماذا تخرج به
- أدلة على كيفية مهاجمة ميزات الذكاء الاصطناعي لديك وما تكشفه
- حوكمة مربوطة بـ ISO 42001 وEU AI Act
- إرشاد حول الحواجز والمراقبة لأنظمة حية بالفعل
كيف تسير
الربط
نربط كيف يستخدم تطبيقك النموذج وما البيانات التي تصله وما الإجراءات التي يمكنه تنفيذها، ليستهدف الاختبار تعرضاً حقيقياً.
السبر
نختبر حقن التلقين وكسر القيود وتسريب البيانات والاستخدام غير الآمن للأدوات، ونربطها كما يفعل المهاجم.
الحوكمة
نربط استخدامك للذكاء الاصطناعي مقابل ISO 42001 وEU AI Act، لتتمكن من إظهار الحوكمة التي يتوقعها المنظّم.
التحصين
نقدم إرشاداً حول الحواجز والمراقبة لتُلتقط المشكلات في الإنتاج لا في الاختبار فقط.
كيف يمكننا الاختبار
Black box
من الخارج إلى الداخل
نختبر ميزة الذكاء الاصطناعي دون أي وصول داخلي، ونتفاعل فقط عبر الواجهة التي يصل إليها المستخدم العادي أو المهاجم.
Grey box
بسياق جزئي
نعمل انطلاقاً من معلومات محدودة مثل تلقينات النظام أو تعريفات الأدوات أو حساب، ليستهدف الاختبار الأجزاء الأكثر احتمالاً لتعريضك.
White box
برؤية كاملة
نراجع التلقينات وتدفقات البيانات وتكاملات الأدوات والإعدادات إلى جانب الاختبار، لتكون التغطية مدفوعة بكيفية بناء النظام فعلياً.
كيف يختلف هذا عن اختبار عام
لم يُبنَ اختبار التطبيقات القياسي لكيفية فشل النماذج اللغوية، لذا يجب أن يختلف النهج.
| اختبار واعٍ بالنماذج اللغوية | فحص عام لتطبيق ويب | |
|---|---|---|
| حقن التلقين | يُختبر مباشرة، بما في ذلك الحقن غير المباشر عبر المحتوى المسترجع | غير ممثَّل، فيُعامَل كمدخل عادي |
| استدعاء الأدوات والدوال | يُسبر بحثاً عن صلاحيات مفرطة يمكن توجيه النموذج إليها | خارج النطاق أو يُرى فقط كنقاط نهاية لواجهة البرمجة |
| تسريب البيانات | يُتتبع عبر مخرجات النموذج والسياق والتخزين المؤقت | محصور في أنماط معروفة في الردود |
| الحوكمة | مربوطة بـ ISO 42001 وEU AI Act إلى جانب الاختبار | غير معالَجة |
ما يدعمه هذا
يرتبط عمل الاختبار والحوكمة بالأطر التي تحكم بشكل متزايد كيفية بناء الذكاء الاصطناعي ونشره.
- ISO 42001
- يدعم نظام إدارة الذكاء الاصطناعي عبر إثبات تقييم المخاطر والضوابط والحوكمة على كيفية استخدام النماذج.
- EU AI Act
- يساعدك على تقييم فئة الخطر لديك وإظهار الاختبار وإدارة المخاطر التي يتوقعها القانون من أنظمة الذكاء الاصطناعي الأعلى خطراً.
- ISO 27001
- يغذّي ضوابط أمن المعلومات في الملحق A التي تغطي التطوير الآمن والتحكم بالوصول ومعالجة البيانات التي تعالجها نماذجك.
- GDPR
- يدعم التزامات الأمن وحماية البيانات حيث تتدفق بيانات شخصية إلى ميزة ذكاء اصطناعي أو منها.
الأسئلة الشائعة
- ما حقن التلقين؟
- حقن التلقين هو أن تتجاوز مدخلات صاغها مهاجم التعليمات التي أعطيتها للنموذج، فيسرّب بيانات أو يتجاهل قواعده أو يسيء استخدام أدوات يستطيع استدعاءها. نختبره مباشرة.
- هل ينطبق علينا قانون الذكاء الاصطناعي الأوروبي EU AI Act؟
- يعتمد ذلك على كيف وأين تنشر الذكاء الاصطناعي وعلى فئة الخطر التي يقع فيها استخدامك. نساعدك على تقييم ذلك وربط الحوكمة التي يتطلبها بدل افتراض انطباقه أو عدمه.
- هل يمكنكم اختبار ميزة في الإنتاج بالفعل؟
- نعم. نتفق على قواعد اشتباك ليكون الاختبار آمناً على نظام حي، ويمكننا أيضاً تقديم المشورة حول الحواجز والمراقبة لالتقاط المشكلات في الإنتاج.
خدمات ذات صلة
قراءات ذات صلة
نظام OWASP LLM Top 10 موضَّحًا: دليل مبسّط للفرق التي تطلق ميزات الذكاء الاصطناعي
شرح عملي وواضح لأكبر عشر مخاطر وفق OWASP لتطبيقات نماذج اللغة الكبيرة، مع وصف مبسّط وإجراء تخفيف ملموس لكل منها، موجَّه للفرق التي تضيف ميزات الذكاء الاصطناعي لأول مرة.
قراءة 9 دقائق
كيف تقرأ تقرير اختبار الاختراق (VAPT): دليل مبسّط للفرق
شرح عملي لما يتضمّنه تقرير اختبار الاختراق، قسمًا بقسم، حتى يتمكّن المؤسّسون وفرق الهندسة من قراءته بثقة والتصرّف بناءً على ما يقوله.
8 دقائق قراءة
SOC 2 مقابل ISO 27001: مقارنة صادقة تساعدك على الاختيار
دليل مبسّط وواضح للفروق الحقيقية بين SOC 2 و ISO 27001: ما هو كل منهما، ومن يطلب أيًّا منهما، وكيف تجري عمليات التدقيق، وما الذي ينتهي بك الأمر إلى امتلاكه، وهل ينبغي لك الحصول على الاثنين معًا.
قراءة 8 دقائق