النمذجة اللغوية للذكاء الاصطناعي التوليدي باستخدام محولات ترانسفورمر

يهدف هذا المساق إلى تقديم مقدمة شاملة وعملية حول كيفية استخدام نماذج المحولات (Transformers) في تطبيقات معالجة اللغات الطبيعية (NLP)، وهي التقنية الأساسية التي تقوم عليها أحدث تطورات الذكاء الاصطناعي التوليدي. ستكتشف في هذه الدورة كيفية بناء وتدريب النماذج الخاصة بك لأغراض تصنيف النصوص، مع التركيز بشكل خاص على البنى المبنية على التشفير (Encoder-based) مثل نموذج التمثيلات الثنائية الاتجاه من المحولات (BERT). بالإضافة إلى ذلك، سيتعمق المساق في المفاهيم الأساسية التي تجعل هذه النماذج فعالة للغاية، بما في ذلك التشفير الموضعي (Positional Encoding)، وتضمين الكلمات (Word Embeddings)، وآليات الانتباه (Attention Mechanisms). ستتعلم أيضاً عن الانتباه متعدد الرؤوس (Multi-head Attention) والانتباه الذاتي (Self-attention)، وكيفية استخدام النمذجة اللغوية السببية مع نماذج فك التشفير مثل GPT لتوليد النصوص. من خلال الجمع بين الشرح النظري والتطبيق العملي، ستكتسب خبرة مباشرة في استخدام أدوات قياسية في الصناعة مثل PyTorch و Hugging Face لمواجهة تحديات العالم الحقيقي. سواء كنت تسعى لفهم البنية الداخلية لنماذج اللغة الكبيرة أو ترغب في تطبيقها في مشاريع معالجة اللغة الطبيعية مثل الترجمة الآلية وتصنيف النصوص، فإن هذه الدورة ستزودك بالأساس المتين والخبرة العملية اللازمة للتميز في هذا المجال المتطور.

• شرح دور آليات الانتباه في نماذج المحولات لالتقاط العلاقات السياقية في النصوص.
• وصف الاختلافات في مناهج النمذجة اللغوية بين النماذج القائمة على فك التشفير مثل GPT والنماذج القائمة على التشفير مثل BERT.
• تنفيذ المكونات الرئيسية لنماذج المحولات، بما في ذلك التشفير الموضعي، وآليات الانتباه، والتغطية (Masking) باستخدام مكتبة PyTorch.
• تطبيق النماذج القائمة على المحولات لمهام معالجة اللغات الطبيعية الواقعية، مثل تصنيف النصوص والترجمة الآلية، باستخدام PyTorch وأدوات Hugging Face.