تصميم وتنفيذ خطوط ETL باستخدام Apache Spark

تُعد دورة تصميم وتنفيذ خطوط ETL باستخدام Apache Spark دورة عملية تستهدف تمكين المتعلمين من تصميم وبناء وإدارة عمليات استخراج وتحويل وتحميل البيانات (ETL) باستخدام Apache Spark ضمن بيئة هندسة بيانات واقعية. تبدأ الدورة بتنصيب وتكوين مكونات أساسية مثل PySpark وHadoop وMySQL، مع تنظيم هيكلية المشاريع واستكشاف مصادر البيانات. يتعلم المشاركون كيفية بناء تطبيقات Spark لمعالجة تحميل البيانات الكاملة والتزايدية عبر JDBC، بالإضافة إلى تطبيق التحويلات ومعالجة تحديات التنفيذ وتحسين خطوط ETL لتحقيق أداء عالي وموثوقية أكبر في معالجة البيانات.

• تنصيب وتكوين PySpark وHadoop وMySQL لخطوط ETL
• بناء تطبيقات Spark للتحميل الكامل والتزايدي عبر JDBC
• تطبيق التحويلات والتعامل مع تحديات النشر وتحسين خطوط ETL

• معرفة أساسية ببرمجة Python
• مفاهيم أساسية في قواعد البيانات