Batch Data Pipelines on Google Cloud

Las canalizaciones de datos suelen realizarse según uno de los paradigmas extracción y carga (EL); extracción, carga y transformación (ELT), o extracción, transformación y carga (ETL). En este curso, abordaremos qué paradigma se debe utilizar para los datos por lotes y cuándo corresponde usarlo. Además, veremos varias tecnologías de Google Cloud para la transformación de datos, incluidos BigQuery, la ejecución de Spark en Dataproc, grafos de canalización en Cloud Data Fusion y procesamiento de d

• Review EL, ELT, and ETL data loading methods and their use cases
• Run Hadoop on Dataproc, utilize Cloud Storage, and optimize Dataproc jobs
• Build data pipelines for data processing with Dataflow
• Manage data pipelines using Data Fusion and Cloud Composer

• Basic understanding of big data concepts
• Knowledge of data storage concepts
• Some experience with cloud computing platforms