Las canalizaciones de datos suelen realizarse según uno de los paradigmas extracción y carga (EL); extracción, carga y transformación (ELT), o extracción, transformación y carga (ETL). En este curso, abordaremos qué paradigma se debe utilizar para los datos por lotes y cuándo corresponde usarlo. Además, veremos varias tecnologías de Google Cloud para la transformación de datos, incluidos BigQuery, la ejecución de Spark en Dataproc, grafos de canalización en Cloud Data Fusion y procesamiento de datos sin servidores en Dataflow. Los estudiantes obtienen experiencia práctica en la compilación de componentes de canalizaciones de datos en Google Cloud con Qwiklabs.
What you'll learn
understand the different paradigms for data processing (EL, ELT, ETL)
gain experience with BigQuery for data transformation
work with Spark on Dataproc
create data pipelines using Cloud Data Fusion
implement serverless data processing with Dataflow
Course objectives
to identify the appropriate data processing paradigm for batch data
to implement data transformations using various Google Cloud technologies