AWS AuroraのデータをBigQueryにインポートするまで
完全に自分のための振り返りメモ。 自分以外は「参考にした」リンクを貼っているのでそっちをメインでみた方が良いかも。
前提
- AWS Aurora（MySQLl）を使っている
- BigQueryを使いたい
ゴール
↓こんな風BigQueryにMySQLのデータがインポートされていること。
手順（目次）
- GoogleCloudPlatformのbilling（支払情報）を埋める
- Cloud Data Fusion APIを有効にする
- Cloud Data Fusionのインスタンスを作成する
- 「IAM管理」で、作成したCloud Data FusionインスタンスへのPermissionを設定する
- Cloud Data Fusionの「Hub」の「Drivers」セクションで「MySQL JDBC Driver」をダウンロードする（jarファイル）
- Cloud Data Fusionの「Hub」の「Drivers」セクションで「MySQL JDBC Plugin」をデプロイする（jarファイルをアップロード）
- Cloud Data Fusionの「Hub」の「Pipelines」セクションで「Transfer Data From MySQL to Google BigQuery」を作成する
- パイプラインを設定する（Database（MySQL）・BigQuery両方）
- パイプラインをデプロイする
- パイプラインを実行（Run）する
詰まった
エラー1
cloud data fusionEncountered SQL error while getting query schema: Communications link failure The last packet sent successfully to the server was 0 milliseconds ago. The driver has not received any packets from the server.
AuroraのRDSインスタンスのセキュリティグループでGoogle Data Fusionからのアクセスを許可していなかった
