أباتشي سبارك: تطبيق تدفقات عمل البيانات الضخمة وتقييمها

تعرّفك هذه الدورة على مفاهيم المعالجة الموزعة للبيانات باستخدام Apache Spark بطريقة مناسبة للمبتدئين مع امتداد إلى مفاهيم متوسطة. ستبدأ بفهم معمارية سبارك ومكوّناته الأساسية، وكيف يعمل السائق Driver والمنفّذون Executors وإدارة الموارد، وما الذي يميز Spark عن أدوات الدُفعات التقليدية. بعد ذلك ستتعلم لبنات البرمجة عبر RDDs: كيفية إنشاء البيانات، وتنفيذ التحويلات Actions وTransformations، وفهم التقييم الكسول Lazy Evaluation. ستغطي الدورة كذلك موضوعات مهمة لبناء تطبيقات قابلة للتوسع مثل التخزين المؤقت Persistence، والتعامل مع صيغ ملفات متعددة، وقراءة البيانات وكتابتها بكفاءة. ثم تنتقل إلى التفكير التحليلي في تحسين الأداء: متى تستخدم التخزين المؤقت، وكيف تختار عدد الأقسام Partitioning، وكيف تقيس أثر قراراتك على زمن التنفيذ واستهلاك الذاكرة. في نهاية الدورة ستكون قادرًا على بناء تدفقات عمل واقعية في سبارك وتقييمها وتحسينها وفق احتياجات البيانات وحجمها.

• وصف معمارية سبارك ومكوّناته الأساسية وبُنى RDD البرمجية
• تطبيق التحويلات والتخزين المؤقت والتعامل مع صيغ ملفات متعددة في سبارك
• تطوير تدفقات قابلة للتوسع وتقييم تطبيقات سبارك بهدف التحسين

• No deep prior experience is required, but basic computer and internet skills are helpful
• Ability to read course instructions in English and complete short practice activities