Building Batch Data Pipelines on GCP 日本語版
通常、データ パイプラインは、「抽出、読み込み（EL）」、「抽出、読み込み、変換（ELT）」、「抽出、変換、読み込み（ETL）」のいずれかの考え方に分類できます。このコースでは、バッチデータではどの枠組みを、どのような場合に使用するのかについて説明します。本コースではさらに、BigQuery、Dataproc 上での Spark の実行、Cloud Data Fusion のパイプラインのグラフ、Dataflow でのサーバーレスのデータ処理など、データ変換用の複数の Google Cloud テクノロジーについて説明します。また、Qwiklabs を使用して Google Cloud でデータ パイプラインのコンポーネントを構築する実践演習を行います。
Monthly Subscription Starting at AED 99 + VAT
- Level Professional
- المدة
- الطبع بواسطة Google Cloud
-
Offered by
عن
通常、データ パイプラインは、「抽出、読み込み」、「抽出、読み込み、変換」、「抽出、変換、読み込み」のいずれかの枠組みに分類できます。このコースでは、バッチデータではどの枠組みを、どのような場合に使用するのかについて説明します。本コースではさらに、BigQuery、Dataproc 上での Spark の実行、Cloud Data Fusion のパイプラインのグラフ、Dataflow でのサーバーレスのデータ処理など、データ変換用の複数の Google Cloud テクノロジーについて説明します。受講者には、Qwiklabs を使用して Google Cloud でデータ パイプラインのコンポーネントを構築する実践演習を行っていただきます。الوحدات
はじめに
-
1
Videos
1
Videos
- コース概要
EL、ELT、ETL
-
6
Videos
6
Videos
- モジュールの概要
- EL、ELT、ETL
- 品質に関する考慮事項
- BigQuery におけるオペレーションの実行方法
- 欠点
- データ品質の問題を解決する ETL
理解度チェック
-
1
Assignment
1
Assignment
- バッチデータ パイプラインの構築の概要
Hadoop エコシステム
-
3
Videos
3
Videos
- モジュールの概要
- Hadoop エコシステム
- Dataproc での Hadoop の実行
HDFS の代わりとなる Cloud Storage
-
1
Videos
1
Videos
- HDFS の代わりとなる Cloud Storage
Dataproc の最適化
-
4
Videos
4
Videos
- Dataproc の最適化
- Dataproc ストレージの最適化
- Dataproc テンプレートと自動スケーリングの最適化
- Dataproc モニタリングの最適化
ラボ
-
2
Videos
-
1
ExternalTool
1
External Tool
- ラボ: Dataproc での Apache Spark ジョブの実行
2
Videos
- ラボの概要: Dataproc での Apache Spark ジョブの実行
- Coursera: Google Cloud Platform と Qwiklabs を使用する
モジュールのまとめ
-
1
Videos
1
Videos
- まとめ
理解度チェック
-
1
Assignment
1
Assignment
- Dataproc での Spark の実行
Dataflow でバッチ処理パイプラインを実行する
-
6
Videos
6
Videos
- モジュールの概要
- Dataflow の概要
- お客様が Dataflow を重視する理由
- コードで Dataflow パイプラインを構築する
- パイプライン設計で考慮すべきポイント
- PTransforms を使用してデータを変換する
ラボ
-
1
Videos
-
2
ExternalTool
2
External Tool
- シンプルな Dataflow パイプライン（Python）
- Dataflow を使用したサーバーレスのデータ分析: シンプルな Dataflow パイプライン（Java）
1
Videos
- ラボの概要: シンプルな Dataflow パイプラインの構築
GroupByKey と Combine を使用した集約
-
1
Videos
1
Videos
- GroupByKey と Combine を使用した集約
ラボ
-
1
Videos
-
2
ExternalTool
2
External Tool
- Beam での MapReduce（Python）
- Beam を使用したサーバーレス データ分析: Beam での MapReduce（Java）
1
Videos
- ラボの概要: Beam での MapReduce
副入力とウィンドウ
-
1
Videos
1
Videos
- 副入力とデータのウィンドウ
ラボ
-
1
Videos
-
2
ExternalTool
2
External Tool
- Dataflow を使用したサーバーレスのデータ分析: 副入力（Python）
- Dataflow を使用したサーバーレスのデータ分析: 副入力（Java）
1
Videos
- ラボの概要: Dataflow を使用したサーバーレスのデータ分析: 副入力
Dataflow テンプレートと SQL
-
1
Videos
1
Videos
- パイプライン テンプレートの作成と再利用
モジュールのまとめ
-
1
Videos
1
Videos
- まとめ
理解度チェック
-
1
Assignment
1
Assignment
- Dataflow を使用したサーバーレスのデータ処理
Cloud Data Fusion
-
6
Videos
6
Videos
- モジュールの概要
- Cloud Data Fusion の概要
- Cloud Data Fusion の構成
- Cloud Data Fusion UI
- パイプラインのビルド
- Wrangler を使用してデータを探索する
ラボ
-
1
Videos
-
1
ExternalTool
1
External Tool
- ラボ: Cloud Data Fusion でパイプライン グラフを作成して実行する
1
Videos
- ラボの概要: Cloud Data Fusion でパイプライン グラフを作成して実行する
Cloud Composer
-
5
Videos
5
Videos
- Cloud Composer を使用して Google Cloud サービス間の作業をオーケストレートする
- Apache Airflow 環境
- DAG と演算子
- ワークフローのスケジュール設定
- モニタリングとロギング
ラボ
-
1
Videos
-
1
ExternalTool
1
External Tool
- ラボ: Cloud Composer の概要
1
Videos
- ラボの概要: Cloud Composer の概要
理解度チェック
-
1
Assignment
1
Assignment
- Cloud Data Fusion と Cloud Composer を使用したデータ パイプラインの管理
コースのまとめ
-
1
Videos
1
Videos
- コースのまとめ
コースのまとめ
-
1
Readings
1
Readings
- Google Cloud でバッチデータ パイプラインを構築する
Auto Summary
Enhance your IT & Computer Science skills with the "Building Batch Data Pipelines on GCP 日本語版" course by Coursera. This professional-level course dives into data pipeline frameworks such as EL, ELT, and ETL, and covers Google Cloud technologies like BigQuery, Dataproc, Cloud Data Fusion, and Dataflow. Practical labs using Qwiklabs are included. Available with Starter and Professional subscriptions.
Google Cloud Training