حل عنق الزجاجة في البيانات: تحسين أداء سبارك

يركز هذا الكورس القصير على معالجة مشكلات اختناقات البيانات التي تواجه أنظمة المعالجة الموزعة باستخدام Apache Spark. توضح الدورة كيف يمكن لفهم أنماط توزيع البيانات وإجراء تحليل لمخططات التنفيذ ومراقبة مراحل المعالجة أن يساعد في تحديد أماكن حدوث عدم التوازن في تدفق البيانات، وبالتالي تحسين الأداء. يتعلم المشارك كيفية اختيار استراتيجيات تقسيم فعالة وإعدادات تكوين مثل shuffle.partitions وتقنيات broadcast join لتحسين سير العمل وتقليل زمن المعالجة. تتضمن الدورة محاضرات ومواد تعليمية مصممة لمتخصصي علوم البيانات والمهندسين لضمان فعالية أداء أنظمة البيانات الموزعة. لا تحتاج الدورة لخبرة عميقة مسبقة، ولكن مهارات الحاسوب الأساسية والإنترنت مطلوبة.

• تحليل مخططات التنفيذ الموزعة لحل اختناقات الأداء
• التعرف على أسباب انحراف البيانات وعدم التوازن في المعالجة
• تطبيق استراتيجيات تقسيم فعالة لتحسين الأداء
• استخدام إعدادات Spark لتحسين معالجة الأنابيب بشكل مستدام

• مهارات أساسية في استخدام الحاسوب والإنترنت
• القدرة على فهم تعليمات الدورة باللغة الإنجليزية
• إكمال الأنشطة العملية القصيرة