Como criar pipelines de dados em lote no Google Cloud

"Neste curso intermediário, você aprenderá a projetar, criar e otimizar pipelines de dados em lote robustos no Google Cloud. Além do tratamento básico de dados, você vai aprender sobre transformações em grande escala e orquestração eficiente de fluxos de trabalho, essenciais para a eficiência em Business Intelligence e relatórios importantes. Pratique o uso do Dataflow para Apache Beam e do Serverless para Apache Spark (Dataproc sem servidor) na implementação e resolva questões importantes em q

• Determinar se os pipelines de dados em lote são a escolha correta para seu caso de uso comercial
• Projetar e criar pipelines de dados em lote escalonáveis para ingestões e transformações de alto volume
• Implementar controles de qualidade nos pipelines em lote para garantir a integridade dos dados
• Orquestrar, gerenciar e monitorar fluxos de trabalho de pipeline de dados em lote, implementando o tratamento de erros e a observabilidade