Amazon S3からデータベース(MySQL)にデータを書き出してみよう

Amazon S3からデータベース(Amazon Aurora for MySQL 5.7)にデータを書き出す方法について説明します。

このチュートリアルでは、サンプルデータを使用します。サンプルデータの使用方法については「サンプルデータの使用方法」を参照してください。

また、事前にAWSアカウントおよび空のAmazon Aurora for MySQL 5.7のデータベースを用意してからこのチュートリアルを進めてください。

説明

Amazon S3からAmazon Aurora for MySQL 5.7のデータベースにデータを書き込む場合、ファイル/フォルダ読み取り処理およびシートから読み取り処理でデータを読み取り、テーブル書き込み処理でデータベースに書き込みます。

処理の流れ

Amazon S3からAmazon Aurora for MySQL 5.7にデータを書き込むには、以下の順で作業を行います。

ポイントとなる機能
  • ファイル/フォルダ読み取り処理

    Amazon S3からファイルおよびフォルダを読み取ります。

    デザイナーのツールパレットクラウド > Amazon S3 > ファイル/フォルダ読み取りで設定できます。

  • シートから読み取り処理

    入力データを読み取ります。

    ファイル > Excel > シートから読み取りで設定できます。

  • テーブル書き込み処理

    入力データをテーブルに書き込みます。

    クラウド > Amazon Aurora for MySQL > テーブル書き込みで設定できます。

処理のポイント

各種サービスに接続するためのリソースの設定を行った後、コネクターを使用してデータを書き込みます。

サンプルデータの使用方法

上記処理を行うためのサンプルデータを用意しています。

サンプルデータは「シナリオ一覧」からダウンロードしてください。サンプルデータを使用する場合の手順は、以下のとおりです。

サンプルデータファイル名:tutorial_S3_to_DB.zip

  1. サンプルデータの展開

    サンプルデータファイル「tutorial_S3_to_DB.zip」を展開します。

  2. サンプルデータの準備

    「tutorial_S3_to_DB.zip」を展開後のデータがサンプルデータとなります。

    Amazon S3にサンプルデータをアップロードして使用してください。

操作手順

(1) Amazon S3のコネクションを作成する

  1. > HULFT INTEGRATE > コネクションを選択します。

  2. コネクションページで新規追加を選択します。

  3. コネクション > 新規追加ページ手順種類でリソースタイプを検索します。

    検索ボックスにAmazonと入力します。

  4. コネクターAmazon Web Servicesを選択し、種類Amazon S3接続を選択します。

  5. 次へを選択します。

  6. 手順全般で、以下に示すようにコネクションリソースに関する項目を設定します。

    項目名

    設定(例)

    名前

    Amazon S3接続

    ワークスペース

    Personal

    説明

    (任意)

    = 備考 =

    このチュートリアルでは名前に初期値を使用します。必要に応じて変更してください。

  7. 次へを選択します。

  8. 手順設定でAWSアカウントのアクセスキーとシークレットアクセスキーを設定します。

    必要に応じてエンドポイントを設定してください。

  9. 次へを選択します。

  10. 手順プロファイルでプロファイルを選択します。

    = 備考 =
    • プロファイルを選択すると、このコネクションがプロファイルに登録されます。プロファイルは、リソース設定を切り替えるために使用できます。

    • ドロップダウンリストに何も表示されない場合は、「プロファイル」を参照してプロファイルの作成を行ってください。

  11. 手順サマリーで確認し完了を選択します。

(2) Amazon Aurora for MySQL 5.7のコネクションを作成する

  1. > HULFT INTEGRATE > コネクションを選択します。

  2. コネクションページで新規追加を選択します。

  3. コネクション > 新規追加ページ手順種類でリソースタイプを検索します。

    検索ボックスにAmazonと入力します。

  4. コネクターAmazon Web Servicesを選択し、種類Amazon Aurora for MySQL 5.7接続を選択します。

  5. 次へを選択します。

  6. 手順全般で、以下に示すようにコネクションリソースに関する項目を設定します。

    項目名

    設定(例)

    名前

    Amazon Aurora for MySQL 5.7接続

    ワークスペース

    Personal

    説明

    (任意)

    = 備考 =

    このチュートリアルでは名前に初期値を使用します。必要に応じて変更してください。

  7. 次へを選択します。

  8. 手順設定で以下の情報を入力しデータベースの接続設定をします。

    • クラスターエンドポイント

    • ポート番号

    • データベース名

    • ユーザー名

    • パスワード

    • SSLコネクション(チェックボックス)

      = 備考 =

      SSLを使用する場合はSSLコネクションのチェックボックスを選択してください。

  9. 次へを選択します。

  10. 手順プロファイルでプロファイルを選択します。

    = 備考 =
    • プロファイルを選択すると、このコネクションがプロファイルに登録されます。プロファイルは、リソース設定を切り替えるために使用できます。

    • ドロップダウンリストに何も表示されない場合は、「プロファイル」を参照してプロファイルの作成を行ってください。

  11. 手順サマリーで入力内容を確認し完了を選択します。

(3) プロジェクトとスクリプトを作成しデザイナーを起動する

操作方法については「プロジェクトを作成する」~「デザイナーを起動する」を参照してください。

(4) Amazon S3からデータを取得し、Amazon Aurora for MySQL 5.7にインサートするスクリプトを作成する

  1. デザイナーのツールパレットクラウド > Amazon S3 > ファイル/フォルダ読み取りをスクリプトキャンバスにドラッグ&ドロップします。

    ファイル/フォルダ読み取り処理の設定は、以下のように行います。

    必須設定タブ

  2. デザイナーのツールパレットファイル > Excel > シートから読み取りをスクリプトキャンバスにドラッグ&ドロップします。

    シート読み取り処理の設定は、以下のように行います。

    必須設定タブ

    読み取り設定タブ

  3. デザイナーのツールパレットからクラウド > Amazon Aurora for MySQL > テーブル書き込みをスクリプトキャンバスにドラッグ&ドロップします。

    テーブル書き込み処理の設定は、以下のように行います。

    必須設定タブ

(5) スクリプトを実行する

  1. スクリプトを実行し、正常終了すれば成功です。

    スクリプトの実行方法については「スクリプトを実行する」を参照してください。

(6) Amazon Aurora for MySQL 5.7上にデータがインサートされていることを確認する

  1. Amazon Aurora for MySQL 5.7上にAmazonS3から追加したデータがインサートされていることを確認します。

(7) サービスイベントログを確認する

  1. サービスイベントログを確認します。

    サービスイベントログの確認方法については「サービスイベントログを確認する」を参照してください。