ニフティクラウドストレージでファイルアップロードに失敗したファイルの情報を取得したい

キーワード:ニフティクラウドストレージ,クラウドストレージ,エラー情報,エラー抽出,拡張子
シナリオ一覧に戻る

概要

ニフティクラウドストレージアダプタでアップロードに失敗したファイルの情報を取得したい場合、ファイル/フォルダ書き込み処理の出力データを使用します。

サンプルプロジェクトの説明

ニフティクラウドストレージ内に本日の日付のフォルダを作成し、ファイルをアップロードします。
アップロードに失敗した場合、エラーメッセージとアップロードに失敗したファイルの情報をCSVファイルに出力します。
本スクリプトを同日中に2回実行すると、ニフティクラウドストレージ上に同名のファイルが存在することでエラーとなり、アップロードに失敗した場合の結果を確認することができます。

処理の流れ

サンプルプロジェクトの処理の流れは以下の通りです。
  1. 変数代入処理」で日付フォルダ名を作成します。
  2. ファイル/フォルダ書き込み処理」で日付フォルダの作成および拡張子「.zip」ファイルを書き込みます。
  3. マッピング処理」でアップロードに失敗したファイル情報を抽出します。
  4. 繰り返し(データ件数)処理」で以下の処理を繰り返します。
    1. マッピング処理」でアップロードに失敗したファイル情報を抽出します。
    2. CSVファイル書き込み処理」で、CSVファイルに出力します。
実行結果のイメージについては、サンプルプロジェクトのサンプルデータ「error.csv」を参照してください。

ポイントとなる機能

名前 説明 ツールパレット上の場所
ファイル/フォルダ書き込み処理 DataSpiderファイルシステム上にあるファイル/フォルダを、ニフティクラウドストレージ上に書き込みます。 「クラウド」-「ニフティクラウドストレージ」-「ファイル/フォルダ書き込み」

処理のポイント

アップロードの成否はファイル/フォルダ書き込み処理の出力データから取得できます。
繰り返し処理内のCSVファイル書き込み処理をメール送信処理に変更することで、ファイルアップロードエラー情報をメールで通知することも可能です。

サンプルプロジェクトの使用方法

上記処理を実装したサンプルプロジェクトを用意しています。サンプルプロジェクトを使用する場合の手順は、以下の通りです。

サンプルプロジェクトファイル名 rl_reference_087.zip
  1. サンプルプロジェクトの展開
    サンプルプロジェクトファイル「rl_reference_087.zip」を展開します。

  2. プロジェクトのアップロード
    「rl_reference_087.zip」を展開後に作成される「rl_reference_087プロジェクト」ディレクトリがプロジェクトファイルとなります。
    DataSpider Studioを起動し、マイプロジェクトの画面から[ファイル]-[ローカルからアップロード]で展開したディレクトリ「rl_reference_087プロジェクト」をアップロードしてください。

  3. サンプルデータの準備
    「rl_reference_087.zip」を展開後に作成される「samples」ディレクトリがサンプルデータとなります。
    $DATASPIDER_HOME/server/samplesディレクトリに上書きしてください。

  4. グローバルリソースの設定
    コントロールパネルの[グローバルリソースの設定]から、[新しいグローバルリソースの追加]を選択し、ニフティクラウドストレージのグローバルリソースを追加します。
    グローバルリソースの設定方法については、「グローバルリソースのプロパティ」を参照してください。

スクリプトの作成手順

プロセスフローおよびデータフローは、「サンプルプロジェクトの説明」のスクリプト画像を参照して適宜設定してください。
  1. 日付フォルダ名として使用するスクリプト変数を作成します。

  2. デザイナのツールパレット「基本」-「処理」-「変数代入」から、変数代入処理をスクリプトキャンバスに配置します。

  3. 変数代入処理のMapperエディタを開き、本日の日付を作成し、スクリプト変数に代入します。

  4. デザイナのツールパレット「クラウド」-「ニフティクラウドストレージ」-「ファイル/フォルダ書き込み」から、ファイル/フォルダ書き込み処理をスクリプトキャンバスに配置します。

  5. デザイナのツールパレット「変換」-「基本」-「マッピング」から、マッピング処理(「mapping」)をスクリプトキャンバスに配置します。

  6. デザイナのツールパレット「基本」-「フロー」-「繰り返し(データ件数)」から、繰り返し(データ件数)処理をスクリプトキャンバスに配置します。

  7. マッピング処理(「mapping」)のMapperエディタを開き、アップロードに失敗したファイル情報を抽出し、繰り返し(データ件数)処理の入力スキーマにマッピングする処理を作成します。

  8. デザイナのツールパレット「変換」-「基本」-「マッピング」から、マッピング処理(「mapping(1)」)をスクリプトキャンバスに配置します。

  9. デザイナのツールパレット「ファイル」-「CSV」-「CSVファイル書き込み」から、CSVファイル書き込み処理をスクリプトキャンバスに配置します。

  10. マッピング処理(「mapping(1)」)のMapperエディタを開き、アップロードに失敗したファイル情報をCSV書き込み処理の入力スキーマにマッピングする処理を作成します。

  11. スクリプトを実行し、正常終了すれば成功です。
    同日中に再度実行するとファイルのアップロードに失敗し、「error.csv」が出力されます。