آليات الانتباه ونماذج المحولات

تركز هذه الدورة المتقدمة على آليات الانتباه ونماذج المحولات التي تُستخدم كأساس لأنظمة الذكاء الصناعي الحديثة المولدة للنصوص والصور. تبدأ الدورة بمناقشة التحول من الشبكات العصبية التقليدية إلى البنى المعتمدة على الانتباه، مع شرح لكيفية تحسين الدقة في المهام اللغوية والبصرية من خلال الانتباه الإضافي والمنتج والذات. يتعمق المتعلمون في آلية الانتباه الذاتي التي تُمكّن نماذج مثل GPT وBERT، ويتعرفون على مكونات المحول والانتباه المتعدد الرؤوس. يشمل المحتوى عروضًا تطبيقية تعرض كيفية استخدام هذه النماذج في توليد النصوص والصور المتقدمة. تتطلب هذه الدورة معرفة أساسية بالشبكات العصبية، ومفاهيم تعلم الآلة، وبرمجة بايثون لتسهيل الفهم والاستفادة.

• تطبيق الانتباه الذاتي والانتباه متعدد الرؤوس في نماذج التعلم العميق
• فهم بنية المحول ومكوناته الأساسية
• استكشاف دور الانتباه في نماذج مثل GPT وBERT
• تحليل تطبيقات الذكاء الصناعي التوليدي في معالجة اللغة والصورة

• معرفة أساسية بالشبكات العصبية
• مفاهيم تعلم الآلة الأساسية
• برمجة بايثون