Building Batch Data Pipelines on GCP em Português Brasileiro
Os pipelines de dados geralmente se encaixam em um desses três paradigmas: extração e carregamento (EL), extração, carregamento e transformação (ELT) ou extração, transformação e carregamento (ETL). Este curso descreve qual paradigma deve ser usado em determinadas situações e quando isso ocorre com dados em lote. Além disso, vamos falar sobre várias tecnologias no Google Cloud para transformação de dados, incluindo o BigQuery, a execução do Spark no Dataproc, gráficos de pipeline no Cloud Data Fusion e processamento de dados sem servidor com o Dataflow.
Monthly Subscription Starting at AED 99 + VAT
- Level Professional
- المدة
- الطبع بواسطة Google Cloud
-
Offered by
عن
Os pipelines de dados geralmente se encaixam em um dos três paradigmas: extração-carregamento, extração-carregamento-transformação ou extração-transformação-carregamento. Este curso descreve qual paradigma deve ser usado em determinadas situações e quando isso ocorre com dados em lote. Além disso, vamos falar sobre várias tecnologias no Google Cloud para transformação de dados, incluindo o BigQuery, a execução do Spark no Dataproc, gráficos de pipeline no Cloud Data Fusion e processamento de dados sem servidor com o Dataflow. Os participantes vão ganhar experiência prática na criação de componentes de pipelines de dados no Google Cloud usando o Qwiklabs.الوحدات
Introdução
-
1
Videos
1
Videos
- Introdução ao curso
EL, ELT, ETL
-
6
Videos
6
Videos
- Introdução ao módulo
- EL, ELT, ETL
- Considerações sobre a qualidade
- Como realizar operações no BigQuery
- Limitações
- Usar ETL para resolver problemas de qualidade de dados
Teste
-
1
Assignment
1
Assignment
- Introdução à criação de pipelines de dados em lote
O ecossistema Hadoop
-
3
Videos
3
Videos
- Introdução ao módulo
- O ecossistema Hadoop
- Como executar o Hadoop no Dataproc
Usar o Cloud Storage em vez do HDFS
-
1
Videos
1
Videos
- Usar o Cloud Storage em vez do HDFS
Como otimizar o Dataproc
-
4
Videos
4
Videos
- Como otimizar o Dataproc
- Como otimizar o armazenamento do Dataproc
- Como otimizar os modelos e o escalonamento automático do Dataproc
- Como otimizar o monitoramento do Dataproc
Laboratório
-
2
Videos
-
1
ExternalTool
1
External Tool
- Laboratório: como executar os jobs do Apache Spark no Dataproc
2
Videos
- Introdução ao laboratório: como executar os jobs do Apache Spark no Dataproc
- Coursera: Guia inicial do Google Cloud Platform e do Qwiklabs
Resumo do módulo
-
1
Videos
1
Videos
- Resumo
Teste
-
1
Assignment
1
Assignment
- Como executar o Spark no Dataproc
Executar pipelines de processamento em lote no Dataflow
-
6
Videos
6
Videos
- Introdução ao módulo
- Introdução ao Dataflow
- Por que os clientes valorizam o Dataflow
- Como criar pipelines do Dataflow no código
- Principais considerações sobre a criação de pipelines
- Como transformar dados usando o PTransforms
Laboratório
-
1
Videos
-
2
ExternalTool
2
External Tool
- Um pipeline simples do Dataflow (Python)
- análise de dados sem servidor com o Dataflow - um pipeline simples do Dataflow (Java)
1
Videos
- Introdução ao laboratório: como criar um pipeline simples do Dataflow
Agregação com o GroupByKey e Combine
-
1
Videos
1
Videos
- Agregação com o GroupByKey e Combine
Laboratório
-
1
Videos
-
2
ExternalTool
2
External Tool
- MapReduce no Beam (Python)
- Análise de dados sem servidor com o Beam: MapReduce no Beam (Java)
1
Videos
- Introdução ao laboratório: MapReduce no Beam
Entradas secundárias e janelas
-
1
Videos
1
Videos
- Entradas secundárias e janelas de dados
Laboratório
-
1
Videos
-
2
ExternalTool
2
External Tool
- análise de dados sem servidor com o Dataflow - entradas secundárias (Python)
- análise de dados sem servidor com o Dataflow - entradas secundárias (Java)
1
Videos
- Introdução ao laboratório: análise de dados sem servidor com o Dataflow - entradas secundárias
Modelos e SQL do Dataflow
-
1
Videos
1
Videos
- Como criar e reutilizar os modelos de pipeline
Resumo do módulo
-
1
Videos
1
Videos
- Resumo
Teste
-
1
Assignment
1
Assignment
- Processamento de dados sem servidor com o Dataflow
Cloud Data Fusion
-
6
Videos
6
Videos
- Introdução ao módulo
- Introdução ao Cloud Data Fusion
- Componentes do Cloud Data Fusion
- UI do Cloud Data Fusion
- Criar um pipeline
- Saiba mais sobre o uso de dados com o Wrangler
Laboratório
-
1
Videos
-
1
ExternalTool
1
External Tool
- Laboratório: como criar e executar um gráfico de pipeline com o Data Fusion
1
Videos
- Introdução ao laboratório: como criar e executar um gráfico de pipeline no Cloud Data Fusion
Cloud Composer
-
5
Videos
5
Videos
- Faça a orquestração do trabalho entre o Google Cloud e o Cloud Composer
- Ambiente do Apache Airflow
- DAGs e operadores
- Programação do fluxo de trabalho
- Monitoring e Logging
Laboratório
-
1
Videos
-
1
ExternalTool
1
External Tool
- Laboratório: uma introdução ao Cloud Composer
1
Videos
- Introdução ao laboratório: uma introdução ao Cloud Composer
Teste
-
1
Assignment
1
Assignment
- Gerenciamento de pipelines de dados com o Cloud Data Fusion e o Cloud Composer
Resumo do curso
-
1
Videos
1
Videos
- Resumo do curso
Auto Summary
Enhance your IT and Computer Science skills with "Building Batch Data Pipelines on GCP em Português Brasileiro." Led by Coursera, this professional-level course delves into EL, ELT, and ETL paradigms, and explores Google Cloud technologies like BigQuery, Dataproc, Cloud Data Fusion, and Dataflow. Gain hands-on experience with Qwiklabs over a flexible duration, available through Starter and Professional subscriptions. Ideal for Portuguese-speaking professionals aiming to master batch data pipelines on GCP.
Google Cloud Training