ضمان الاتساق في خطوط البيانات المتدفقة

تتعمق هذه الدورة العملية في تصميم وتنفيذ خطوط بيانات متدفقة تضمن الاتساق باستخدام Apache Kafka، Spark، وFlink. تتعلم تطبيق أُطر القرارات المنهجية لاختيار ضمانات التسليم المناسبة (مرة واحدة على الأكثر، مرة واحدة على الأقل، بالضبط مرة واحدة) وفقًا للاحتياجات ومتطلبات الأعمال وتحليل السيناريوهات الفاشلة. ستطبق معالجة ذات عديمة الأثر على كل من منتجي البيانات، المعالجات، والمخازن عبر تكوين المعاملات والنقاط التفتيش والجداول المعاملات. كذلك ستجري اختبارات تكامل مع إدخال أخطاء للتحقق من النظام. أخيرًا، تقيم استراتيجيات تحديد توقيت الأحداث والتعامل مع النوافذ لتحسين التوازن بين التأخيرات واكتمال البيانات وتلبية متطلبات مستوى الخدمة.

• تصميم خطوط بيانات متدفقة بتحليل سيناريوهات الفشل ومتطلبات العمل لمنع فقدان أو تكرار البيانات
• تنفيذ معالجة بدقة مرة واحدة باستخدام المعاملات والنقاط التفتيش والعمليات القابلة لإعادة التنفيذ
• تقييم استراتيجيات التوقيت وتخصيص النوافذ لتحسين التوازن بين التأخير واكتمال البيانات

• معرفة أساسية بالمصطلحات التقنية والخلفية في الموضوع
• الاستعداد للمشاركة في تمارين تطبيقية ودراسات حالة