テーブルデータ出力処理

オペレーション名

テーブルデータ出力

機能概要

Google BigQuery上のテーブルからデータを取得し、Google Cloud Storage上のファイルに出力します。

データモデル

本コンポーネントのデータモデルはXML型です。

プロパティ

変数の使用については、「変数」を参照してください。
基本設定
項目名 必須/省略可 変数の使用 説明 備考
名前 必須 使用不可 スクリプトキャンバス上での名前を入力します。  
必須設定
項目名 必須/省略可 変数の使用 説明 備考
接続先 必須 使用不可 グローバルリソースを選択します。
  • [追加]:
    新規にグローバルリソースを追加します。
  • [一覧の編集]:
    「リソース一覧の編集」画面にて、グローバルリソースの設定を編集することができます。
  
プロジェクトID 必須 使用可 プロジェクトIDを選択または入力します。  
データセット名 必須 使用可 データセット名を選択または入力します。  
テーブル名 必須 使用可 テーブル名を選択または入力します。  
出力先バケット名 必須 使用可 出力先バケット名を選択または入力します。  
出力先フォルダパス 必須 使用可 出力先フォルダパスを選択または入力します。
  • フォルダパスはGoogle Cloud Storage上の絶対パスで指定してください。
  • 先頭と末尾に「/」を指定してください。
  • 「//」を含めることはできません。
  • 指定したフォルダが存在しない場合、フォルダを作成します。
出力先ファイル名 必須 使用可 出力先ファイル名を選択または入力します。
  • 「/」を含めることはできません。
  • 出力ファイルサイズが1GBを超える場合には、「*」を含める必要があります。
  • 「*」を含めた場合の動作については、Google BigQueryのテーブルデータのエクスポート(https://cloud.google.com/bigquery/docs/exporting-data#exporting_data_into_one_or_more_files)を参照してください。
ファイルが存在する場合は上書きする 省略可 使用不可 書き込み先ファイルと同名のファイルが存在した場合に上書きするかどうかを選択します。
  • [チェックあり]:
    上書きします。
  • [チェックなし]:(デフォルト)
    上書きしません。指定した書き込み先ファイルが存在する場合は書き込みせずエラーとします。
  • [出力先ファイル名]に「*」を含めた場合、[チェックあり]になり、無効になります。
  • [出力先ファイル名]に「*」を含めてスクリプトを実行した場合、[チェックあり]として動作します。
プロパティアクション
項目名 説明 備考
プロジェクトID一覧の更新 指定した接続先にあるプロジェクトを取得して、[プロジェクトID]に設定します。
  • [接続先]を指定・変更した場合や、Google BigQuery上でプロジェクトの追加・変更を行った場合、本プロパティアクションを使用することでその変更を反映させることができます。
データセット名一覧の更新 指定したプロジェクトにあるデータセットを取得して、[データセット名]に設定します。
  • [プロジェクトID]を指定・変更した場合や、Google BigQuery上でデータセットの追加・変更を行った場合、本プロパティアクションを使用することでその変更を反映させることができます。
  • [プロジェクトID]に変数が設定されている場合は無効になります。
テーブル名一覧の更新 指定したデータセットにあるテーブルを取得して、[テーブル名]に設定します。
  • [データセット名]を指定・変更した場合や、Google BigQuery上でテーブルの追加・変更を行った場合、本プロパティアクションを使用することでその変更を反映させることができます。
  • [プロジェクトID]または[データセット名]に変数が設定されている場合は無効になります。
出力先バケット名一覧の更新 指定した接続先にあるバケットを取得して、[出力先バケット名]に設定します。
  • [接続先]を指定・変更した場合や、Google Cloud Storage上でバケットの追加・変更を行った場合、本プロパティアクションを使用することでその変更を反映させることができます。
出力先フォルダパス一覧の更新 指定したバケットにあるフォルダパスを取得して、[出力先フォルダパス]に設定します。
  • [出力先バケット名]を指定・変更した場合や、Google Cloud Storage上でフォルダの追加・変更を行った場合、本プロパティアクションを使用することでその変更を反映させることができます。
  • [出力先バケット名]に変数が設定されている場合は無効になります。
書き込み設定
項目名 必須/省略可 変数の使用 説明 備考
出力ファイルフォーマット 省略可 使用不可 出力ファイルフォーマットを選択します。
  • [CSV]:(デフォルト)
    CSV形式でGoogle Cloud Storageにデータを書き込みます。
  • [TSV]:
    TSV形式でGoogle Cloud Storageにデータを書き込みます。
 
1行目に列名を挿入する 省略可 使用不可 テーブル定義から取得した列名を出力ファイルの1行目に出力するかどうかを選択します。
  • [チェックあり]:
    列名を出力します。
  • [チェックなし]:(デフォルト)
    列名を出力しません。
 
コメント
項目名 必須/省略可 変数の使用 説明 備考
コメント 省略可 使用不可 このアダプタの簡単な説明を記述することができます。
説明を記述すると、仕様書に反映させることができます。		  

スキーマ

入力スキーマ

ありません。

出力スキーマ

<?xml version="1.0" encoding="UTF-8"?>
<bucket name="" >
 <files folderPath="" >
  <file name="" />
 </files>
</bucket>
要素名 属性名 説明 備考
bucket - 指定したバケットごとに出現します。  
name [出力先バケット名]プロパティの入力値をそのまま出力します。  
files - 指定したフォルダごとに出現します。  
folderPath [出力先フォルダパス]プロパティの入力値をそのまま出力します。  
file - データを出力したファイルごとに出現します。  
name データを出力したファイル名を出力します。  

Mapperでのスキーマ読み込み

スキーマは自動で読み込まれます。
詳細については、「スキーマ編集」を参照してください。

大容量データ処理

大容量データ処理には対応していません。

トランザクション

トランザクションはサポートしていません。

PSPでの使用について

PSPでは使用できません。

使用できるコンポーネント変数

コンポーネント変数名 説明 備考
message_category エラー発生時、発生したエラーに対応するメッセージコードのカテゴリが格納されます。
  • デフォルト値はnullです。
message_code エラー発生時、発生したエラーに対応するメッセージコードのコードが格納されます。
  • デフォルト値はnullです。
message_level エラー発生時、発生したエラーに対応するメッセージコードの重要度が格納されます。
  • デフォルト値はnullです。
error_type エラー発生時、発生したエラーの種類が格納されます。
  • デフォルト値はnullです。
  • エラーの種類は、以下のような形式となります。
    例:「java.io.FileNotFoundException」
  • DataSpider Servistaのバージョンにより、格納される内容が変わる可能性があります。
error_message エラー発生時、発生したエラーのメッセージが格納されます。
  • デフォルト値はnullです。
  • DataSpider Servistaのバージョンにより、格納される内容が変わる可能性があります。
error_trace エラー発生時、発生したエラーのトレース情報が格納されます。
  • デフォルト値はnullです。
  • DataSpider Servistaのバージョンや実行するクライアントアプリケーションにより、格納される内容が変わる可能性があります。

仕様制限

主な例外

例外名 原因 対策
ResourceNotFoundException
リソース定義が見つかりませんでした。名前:[]		 [接続先]が指定されていません。 [接続先]を指定してください。
ResourceNotFoundException
リソース定義が見つかりませんでした。名前:[<グローバルリソース名>]		 [接続先]で選択されたリソース定義が見つかりません。 [接続先]で指定したグローバルリソースを確認してください。
InvalidPropertyConfigurationException
<プロパティ名>が指定されていません。		 [<プロパティ名>]が指定されていません。 [<プロパティ名>]を指定してください。
FileAlreadyExistsException ファイルがすでに存在します。 オペレーションの設定値を見直すか、Google Cloud Storageの状態を確認してください。
BigQueryServiceException
ジョブ実行に失敗しました。		 ジョブ実行に失敗しました。 エラーログの内容から原因を特定し、対応を行ってください。
BigQueryServiceException
Google BigQueryに対する操作が失敗しました。		 Google BigQueryに対する操作が失敗しました。 Google BigQueryのエラーメッセージ一覧ページ(https://cloud.google.com/bigquery/docs/error-messages)でエラーのステータスコードとエラーコードから原因を特定し、対応を行ってください。
CloudStorageServiceException Google Cloud Storageに対する操作が失敗しました。 Google Cloud Storageのステータスコードとエラーコード一覧ページ(https://cloud.google.com/storage/docs/json_api/v1/status-codes)でエラーのステータスコードとエラーコードから原因を特定し、対応を行ってください。
ResourceManagerServiceException Google Resource Managerに対する操作が失敗しました。 Google Resource Managerのエラーメッセージ一覧ページ(https://cloud.google.com/resource-manager/docs/core_errors)でエラーのステータスコードとエラーコードから原因を特定し、対応を行ってください。

注意事項