معمارية YARN MapReduce والبرمجة المتقدمة

تقدم جامعة جونز هوبكنز دورة "معمارية YARN MapReduce والبرمجة المتقدمة" لتزويد المتعلمين بفهم شامل وعميق للمكونات الأساسية لمنظومة هادوب (Hadoop). تستعرض هذه الدورة التفاصيل الدقيقة لإدارة الموارد عبر نظام YARN وقوة المعالجة الموزعة التي يوفرها إطار عمل MapReduce. ستتعلم من خلال هذه الدورة كيفية تعاون هذه الأطر للتعامل مع مجموعات البيانات الضخمة بكفاءة عالية. ينتقل المنهج الدراسي من المفاهيم الأساسية إلى تقنيات البرمجة المتقدمة، مما يضمن إتقانك للجانبين النظري والعملي. ستبحث في مفهوم التوازي (Parallelism)، وتتعلم كيفية تطبيق دوال Mapper و Reducer لتحسين مهام المعالجة وتوسيع نطاقها. علاوة على ذلك، تغطي الدورة استراتيجيات التحسين الأساسية، بما في ذلك استخدام الدوال المجمعة (Combiners)، والمقسمات (Partitioners)، وطرق الضغط لتعزيز عمليات الإدخال والإخراج. كما يتم استكشاف الموضوعات المتقدمة مثل تعدد مؤشرات الترابط (Multithreading)، والتنفيذ التخميني (Speculative Execution)، وتنسيقات الإدخال والإخراج المخصصة بعمق. أخيراً، ستحصل على رؤى ثاقبة لتحديد الأنماط الخاطئة الشائعة (Anti-patterns) في MapReduce وتجنبها، مما يزودك بالمهارات اللازمة لكتابة تطبيقات معالجة بيانات عالية الكفاءة وقابلة للتطوير. سواء كنت تبحث عن تحسين مهاراتك في البيانات الضخمة أو مواجهة تحديات هندسة البيانات المعقدة، فإن هذه الدورة هي بوابتك لإتقان محركات معالجة البيانات.

• تعلم أساسيات معماريتي YARN و MapReduce، وكيفية عملهما معاً لمعالجة البيانات واسعة النطاق بكفاءة
• فهم وتطبيق التوازي الخاص بـ Mapper و Reducer في مهام MapReduce لتحسين كفاءة معالجة البيانات وقابليتها للتوسع
• تطبيق تقنيات التحسين مثل الدوال المجمعة (Combiners)، والمقسمات (Partitioners)، والضغط لتعزيز أداء وعمليات الإدخال والإخراج لمهام MapReduce
• استكشاف المفاهيم المتقدمة مثل تعدد مؤشرات الترابط، والتنفيذ التخميني، وتنسيقات الإدخال والإخراج، وكيفية تجنب الأنماط البرمجية الخاطئة الشائعة في MapReduce

• Basic familiarity with the topic and its common terminology
• Readiness to practice through applied exercises or case-based work