تحسين أداء سبارك وتخزين البيانات السحابي للتحليلات

يتناول هذا المساق تقنيات متقدمة لتحسين أداء معالجة البيانات الكبيرة باستخدام بيئة Apache Spark وتقنيات التخزين السحابية. يركز على تشخيص وحل نقاط الخلل في الأداء التي تصيب نظم البيانات الموزعة، بالإضافة إلى تنفيذ استراتيجيات ذكية للتقسيم والتخزين المؤقت التي قد تحسن سرعة معالجة الوظائف بما يزيد عن 30%. كما يشرح كيفية تصميم بنية تحتية سحابية آمنة ومبتكرة بتكلفة معقولة. يتعمق المتعلم في تقنيات بحيرات البيانات القابلة للمعاملات مثل Delta Lake، ويقيّم صيغ التخزين المختلفة لتحسين أداء التحليل وتوفير التكلفة. وتشمل التدريبات التطبيقية تحليل خطط تنفيذ Spark، وتطبيق نسخ البيانات والمعاملات المضمونة، بالإضافة إلى اختبار صيغ تخزين متنوعة لاتخاذ قرارات معمارية دقيقة.

• تحسين أداء مهام Spark من خلال التقسيم والتخزين المؤقت الذكي لتحقيق زيادة في الأداء تتجاوز 30%
• تنفيذ بحيرات بيانات بمعاملات باستخدام صيغة Delta لدعم النسخ والمعاملات ACID وتطور المخططات
• تصميم بنية تحتية سحابية آمنة باستخدام سياسات التحكم بالوصول والشبكات الخاصة والتخزين المشفر
• تقييم ومقارنة صيغ التخزين المختلفة مثل Parquet وORC وAvro لاختيار أفضل الحلول التحليلية والاقتصادية

• مهارات أساسية في الحاسوب والإنترنت
• القدرة على قراءة تعليمات الدورة باللغة الإنجليزية وإتمام التمارين القصيرة