إتقان الذكاء الاصطناعي التوليدي: نماذج اللغة بالمحوّلات

يتزايد الطلب بسرعة على نماذج اللغة المعتمدة على بنية «المحوّلات» (Transformers)، وأصبح امتلاك مهارات استخدامها في معالجة اللغة الطبيعية (NLP) ضرورة لمهندسي الذكاء الاصطناعي لبناء تطبيقات ذكاء اصطناعي توليدي ناجحة. يركّز هذا المقرر على تزويدك بمهارات عملية جاهزة لسوق العمل يبحث عنها أصحاب العمل. خلال المقرر ستستكشف المفاهيم الأساسية لنماذج المحوّلات المطبّقة على مهام معالجة اللغة الطبيعية. ستتعرّف إلى كيفية توظيف هذه النماذج في تصنيف النصوص، مع التركيز على مكوّن «المُرمِّز» (Encoder) ودوره في فهم النصوص واستخلاص السمات الدلالية منها. كما ستتعلّم مفاهيم الترميز الموضعي (Positional Encoding) وتضمين الكلمات (Word Embeddings) وآليات الانتباه (Attention Mechanisms) في نماذج المحوّلات اللغوية، وكيف تساعد هذه المكوّنات على التقاط المعلومات السياقية والعلاقات الاعتمادية بين الكلمات داخل الجملة والنص. وستتعمّق في الانتباه متعدد الرؤوس (Multi-Head Attention) لفهم كيفية تمثيل أنماط متعددة من العلاقات في الوقت نفسه. إضافة إلى ذلك، ستتعرّف إلى نمذجة اللغة المعتمدة على «المفكِّك» (Decoder) باستخدام المحوّلات التوليدية المدرّبة مسبقًا (GPT)، إلى جانب فهم النماذج المعتمدة على المُرمِّز مثل BERT. وستطبّق ما تتعلمه على مهام مثل تصنيف النصوص والترجمة اللغوية ونمذجة اللغة، مع الاستفادة من وظائف PyTorch ونماذج المحوّلات الشائعة لبناء حلول عملية قابلة للاستخدام في مشاريع واقعية.

• اكتساب مهارات جاهزة لسوق العمل في نماذج المحوّلات لمعالجة اللغة الطبيعية خلال أسبوعين.
• فهم آليات الانتباه في المحوّلات ودورها في التقاط المعلومات السياقية داخل النص.
• فهم نمذجة اللغة باستخدام GPT المعتمد على المفكِّك وBERT المعتمد على المُرمِّز.
• تطبيق الترميز الموضعي والإخفاء (Masking) وآلية الانتباه وتصنيف المستندات واستخدام نماذج LLM مثل GPT وBERT.
• استخدام نماذج المحوّلات ووظائف PyTorch لتصنيف النصوص والترجمة اللغوية ونمذجة اللغة.

• معرفة أساسية بلغة بايثون.
• إلمام بمفاهيم تعلم الآلة والشبكات العصبية.