بناء لوحات بيانات فورية باستخدام Apache Spark

تشرح هذه الدورة كيفية بناء لوحات بيانات فورية تعتمد على Apache Spark Structured Streaming، والتي تمكّن المؤسسات من متابعة البيانات الحية مثل الطلبات، ونسب الشذوذ، ونشاط المستخدمين، بشكل فوري دون تأخير. يركز المساق على أساسيات البث مثل الميكرو-دفعات، ومشغلات البث، ونقاط التفتيش، وتطبيق القواعد على المخطط البياني للبيانات. بعد ذلك، يتم دمج Spark مع Kafka لمعالجة تدفقات الأحداث الحقيقية، مع تطبيق نوافذ زمنيّة وأعلام مائية لإدارة البيانات المتأخرة. كما يشمل المساق حفظ المقاييس في Delta Lake لدعم تقارير ذكاء الأعمال بشكل موثوق وفعال.

• شرح نموذج البث في Spark وإنشاء جدول جاهز للوحة البيانات من مصدر ملف بسيط
• بناء خط معالجة بيانات فوري يتكامل مع Kafka ويعالج البيانات باستخدام نوافذ زمنية وأعلام مائية
• إدارة لوحة بيانات إنتاجية مع سياسات تحديث، ومراقبة، واستعادة من الأعطال

• إلمام أساسي بالمفاهيم والمصطلحات المتعلقة بعلوم البيانات والبث
• القدرة على تطبيق التمارين العملية أو العمل ضمن حالات دراسية