عن الدورة
تُعد خطوط أنابيب البيانات وعمليات ETL المصممة جيدًا والمؤتمتة أساسًا لنجاح أي منصة ذكاء أعمال. إن تحديد سير عمل البيانات (Workflows) وخطوط الأنابيب (Pipelines) والعمليات مبكرًا ضمن تصميم المنصة يضمن جمع البيانات الخام الصحيحة، ثم تحويلها وتحميلها إلى طبقات التخزين المطلوبة، لتكون متاحة للمعالجة والتحليل عند الحاجة وفي الوقت المناسب. صُممت هذه الدورة لتزويدك بالمعرفة والمهارات الأساسية التي يحتاجها مهندسو البيانات ومتخصصو مستودعات البيانات لإنشاء وإدارة عمليات ETL وELT وخطوط أنابيب البيانات. ستتعلم المفاهيم الجوهرية لاستخراج البيانات وتحويلها وتحميلها، وكيفية تنظيم هذه المراحل ضمن عمليات قابلة للأتمتة والمراقبة. عند إكمال الدورة ستكتسب فهمًا متينًا لعمليات «الاستخراج، التحويل، التحميل» (ETL) و«الاستخراج، التحميل، التحويل» (ELT)، وستتدرب عمليًا على استخراج البيانات، وتحويلها، ثم تحميل البيانات المُحوّلة إلى منطقة مرحلية (Staging Area) تمهيدًا لاستخدامها في التحليلات والتقارير. كما ستتعرف على مكوّنات خطوط أنابيب البيانات وأدواتها وتقنياتها، وستبني عمليات ETL باستخدام سكربتات Bash، وتطوّر خطوط أنابيب دفعية (Batch) باستخدام Apache Airflow، بالإضافة إلى إنشاء خطوط أنابيب تدفقية (Streaming) باستخدام Apache Kafka لدعم سيناريوهات المعالجة الفورية للبيانات.
ماذا ستتعلم
- وصف عمليات ETL وELT والتمييز بينهما
- تحديد مكوّنات خطوط أنابيب البيانات وعملياتها وأدواتها وتقنياتها
- إنشاء عمليات ETL باستخدام سكربتات Bash في سطر الأوامر
- تطوير خطوط أنابيب بيانات دفعية (Batch) باستخدام Apache Airflow
- إنشاء خطوط أنابيب بيانات تدفقية (Streaming) باستخدام Apache Kafka
المتطلبات المسبقة
- الإلمام الأساسي باستخدام الحاسوب وتقنيات المعلومات
المدرسون
Rav Ahuja
Global Program Director
Yan Luo
Ph.D., Data Scientist and Developer
Jeff Grossman
Data Science and Engineering SME