عن الدورة
مع إحداث نماذج اللغة الكبيرة (LLMs) تحولاً جذرياً في مشهد الذكاء الاصطناعي، يصبح من الضروري فهم التحديات الأمنية الفريدة التي تفرضها هذه النماذج ومعالجتها بجدية. صُممت هذه الدورة الشاملة لتزويدك بالمعرفة والمهارات اللازمة لاكتشاف الثغرات في تطبيقات نماذج اللغة الكبيرة لديك، والتخفيف من آثارها، ومنعها قبل أن تتحول إلى حوادث أمنية. من خلال سلسلة من الدروس المتعمقة، ستتعرف على أبرز التهديدات الشائعة التي تستهدف أنظمة LLM، مثل سرقة النموذج أو استنساخه، وحقن الأوامر (Prompt Injection)، وتسريب المعلومات الحساسة. كما ستتعلم تقنيات عملية لمنع المهاجمين من استغلال نقاط الضعف وتعريض أنظمة الذكاء الاصطناعي للاختراق أو التلاعب. تغطي الدورة أيضاً أفضل الممارسات لتصميم إضافات (Plugins) آمنة، بما في ذلك التحقق من المدخلات (Input Validation) وتنقيتها (Sanitization) لتقليل فرص إساءة الاستخدام. وستفهم أهمية التعامل الآمن مع المخرجات لتجنب سيناريوهات التنفيذ غير المقصود أو تمرير تعليمات خبيثة عبر سلاسل الأدوات. إضافة إلى ذلك، ستكتسب وعياً بأهمية المراقبة النشطة للاعتماديات (Dependencies) ومتابعة تحديثات الأمان والثغرات المرتبطة بها، لضمان بقاء تطبيقاتك محمية مع تطور النظام البيئي. في نهاية الدورة، ستكون قادراً على تطبيق استراتيجيات استباقية لتعزيز سلامة تطبيقات LLM والحفاظ على نزاهتها وأمانها في بيئات الإنتاج.
ماذا ستتعلم
- تحديد ثغرات أمن نماذج اللغة الكبيرة ومسارات الهجوم المحتملة
- التخفيف من هجمات استنساخ النموذج ومحاكاته (Shadowing)
- التعرّف على مخاطر التعامل غير الآمن مع المخرجات وهجمات حقن الأوامر
- منع سرقة النموذج ومشكلات الصلاحيات المفرطة (Excessive Agency)
- تطبيق استراتيجيات لتصميم إضافات (Plugins) آمنة
- تنقيح وإخفاء المعلومات الحساسة باستخدام واجهات برمجة التطبيقات (APIs) والتعبيرات النمطية (Regex)
المدرسون
Alfredo Deza
Adjunct Assistant Professor in the Pratt School of Engineering