ファイル/フォルダ読み取り処理

オペレーション名

ファイル/フォルダ読み取り

機能概要

Amazon S3上にあるファイル/フォルダを取得して、HULFT Square ストレージ上のディレクトリーに書き込みます。

データモデル

本コンポーネントのデータモデルはXML型です。

チュートリアル

Amazon S3へのコネクションの作成方法については、以下のチュートリアルを参照してください。

プロパティ

= 備考 =

変数の使用については、「変数」を参照してください。

基本設定

項目名

必須/省略可

変数の使用

説明

備考

名前

必須

使用不可

スクリプトキャンバス上での名前を入力します。

 

必須設定

項目名

必須/省略可

変数の使用

説明

備考

接続先

必須

使用不可

コネクションリソースを選択します。

[追加]

新規にコネクションリソースを追加します。

[一覧の編集]

> HULFT INTEGRATE > コネクションで、コネクションリソースの設定を編集することができます。

 

Bucket名

必須

使用可

Bucketを指定します。

  • [Bucket名]に大量のファイルが存在するBucketを指定した場合、[フォルダパス]のリストの更新に時間がかかることがあります。

フォルダパス

必須

使用可

Amazon S3のフォルダパスを入力します。

注意

ファイル/フォルダ名

必須

使用可

ファイル/フォルダを指定します。

  • ワイルドカード(「*」および「?」)が使用できます。

  • 「/」を含めることはできません。

ローカルディレクトリー

必須

使用可

HULFT Square ストレージのディレクトリーパスを入力します。

[参照]ボタンをクリックするとディレクトリーチューザーが起動し、ディレクトリーの選択ができます。

注意
  • 大文字小文字を区別しません。

ファイルが存在する場合は上書きする

省略可

使用不可

指定したローカルディレクトリーに同名のファイルが存在した場合に上書きするかどうかを選択します。

[チェックあり]

(デフォルト)

指定したローカルディレクトリーに同名のファイルが存在した場合に上書きします。

[チェックなし]

指定したローカルディレクトリーに同名のファイルが存在した場合に上書きせずエラーとします。

 

ファイル名の使用禁止文字を置換して取得する

省略可

使用不可

Amazon S3上のファイル/フォルダ名にHULFT Squareストレージの使用禁止文字やタブが含まれる場合にファイル/フォルダ名を置換して取得するかどうかを選択します。

[チェックあり]

Amazon S3上のファイル/フォルダ名にHULFT Square ストレージの使用禁止文字やタブが含まれる場合、「_」(半角アンダースコア)に置換して取得します。

[チェックなし]

(デフォルト)

Amazon S3上にあるファイル/フォルダ名で取得します。

再帰的に処理する

省略可

使用不可

指定したフォルダについて、再帰的にファイル/フォルダを取得するかどうかを選択します。

[チェックあり]

指定したフォルダにフォルダが含まれる場合、再帰的にファイル/フォルダを取得します。

[チェックなし]

(デフォルト)

指定したフォルダ内のファイルのみ取得します。

 

アクセス権の情報を結果に含める

省略可

使用不可

ファイルのアクセス権の情報を結果に含めるかどうかを選択します。

[チェックあり]

ファイルのアクセス権の情報を結果に含めます。

[チェックなし]

(デフォルト)

ファイルのアクセス権の情報を結果に含めません。

 

復号設定

項目名

必須/省略可

変数の使用

説明

備考

秘密鍵

省略可

使用可

クライアント暗号化されたファイルを復号するための秘密鍵のファイルパスを入力します。

[参照]ボタンをクリックするとファイルチューザーが起動し、ファイルの選択ができます。

  • 秘密鍵を指定しない場合、クライアント暗号化されたファイルは復号せずに読み取ります。

注意

データ処理方式

項目名

必須/省略可

変数の使用

説明

備考

データ処理方式

必須

使用不可

データ処理方式を選択します。

[スクリプトの設定を使用する]

(デフォルト)

スクリプトプロパティの大容量データ処理の設定をコネクターに使用します。

[大容量データ処理を行わない]

大容量データ処理を行いません。

[大容量データ処理を行う]

大容量データ処理を行います。

 

コメント

項目名

必須/省略可

変数の使用

説明

備考

コメント

省略可

使用不可

このコネクターの簡単な説明を記述することができます。

 

スキーマ

入力スキーマ

ありません。

出力スキーマ

<?xml version="1.0"?>
<server>
  <bucket name="" status="" >
    <file etag="" localpath="" name="" public="" remotepath="" size="" status="" storageclass="" type="" updated="" />
  </bucket>
</server>

要素名

属性名

説明

備考

server

-

 

 

bucket

-

[Bucket名]に指定したBucketが出現します。

 

name

[Bucket名]に指定した名前を出力します。

 

status

[Bucket名]に指定したBucketの状態を出力します。

Exist

Bucketが存在している状態です。

ErrorBucketNotFound

指定した[Bucket名]がAmazon S3上に存在しない状態です。指定したBucket名が誤っている可能性があります。

Error

エラーが発生したため、Bucketの取得ができなかった状態です。

 

file

-

取得したファイル/フォルダごとに出現します。

 

etag

取得したファイル/フォルダのETagを出力します。

  • ファイル/フォルダが正常に取得できなかった場合は値が空白になります。

localpath

取得したファイル/フォルダのローカルパスを出力します。

  • statusが「ErrorRemoteFolderNotFound」の場合は値が空白になります。

name

取得したファイル/フォルダのAmazon S3上の名前を出力します。

  • statusが「ErrorLocalFolderNotFound」の場合は値が空白になります。

  • statusが「ErrorRemoteFolderNotFound」の場合は値が空白になります。

public

取得したファイル/フォルダのアクセス権を出力します。

true

公開

false

非公開

  • ファイル/フォルダが正常に取得できなかった場合は値が空白になります。

  • 「AllUsers Group」に「READ」権限が付与されている場合に、「公開」としています。

  • [アクセス権の情報を結果に含める][チェックなし]の場合は値が空白になります。

remotepath

取得したファイル/フォルダのAmazon S3上のファイルパスを出力します。

  • statusが「ErrorLocalFolderNotFound」の場合は値が空白になります。

size

取得したファイル/フォルダのサイズを出力します。単位はバイトです。

  • ファイル/フォルダが正常に取得できなかった場合は値が空白になります。

  • フォルダの場合は常に「0」が出力されます。

status

取得したファイル/フォルダの状態を出力します。

Exist

ファイル/フォルダが存在している状態です。

Virtual

Amazon S3上に、指定した[フォルダパス]自体は存在しないが、その配下にフォルダまたはファイルが存在する状態です。

ErrorRemoteFolderNotFound

Amazon S3上に、指定した[フォルダパス]が存在しない、またはファイルを指定した状態です。

ErrorRemoteFileNotFound

Amazon S3上で、指定した[フォルダパス]内に指定したファイル/フォルダが存在しない状態です。

ErrorLocalFileNotFound

指定した[ローカルディレクトリー]が存在しない、またはファイルを指定した状態です。

ErrorLocalFileExist

[ファイルが存在する場合は上書きする][チェックなし]で、指定した[ローカルディレクトリー]内に同名ファイルが存在した状態です。

ErrorClientEncryption

指定した[秘密鍵]に誤りがあるため、読み取りができなかった状態です。

Error

エラーが発生したため、ファイル/フォルダの読み取りができなかった状態です。

 

storageclass

取得したファイル/フォルダのStorage Classを出力します。

STANDARD

Standard

REDUCED_REDUNDANCY

RRS(Reduced Redundancy Storage)

STANDARD_IA

Standard_IA

  • ファイル/フォルダが正常に取得できなかった場合は値が空白になります。

type

取得したファイル/フォルダの種別を出力します。

File

ファイル

Folder

フォルダ

 

updated

取得したファイル/フォルダの最終更新日時を出力します。

  • ファイル/フォルダが正常に取得できなかった場合は値が空白になります。

Mapperでのスキーマ読み込み

スキーマは自動で読み込まれます。

= 備考 =

詳細については、「スキーマ編集」を参照してください。

大容量データ処理

大容量データ処理に対応しています。

PSPでの使用について

PSPでは使用できません。

使用できるコンポーネント変数

コンポーネント変数名

説明

備考

count

取得したフォルダおよびファイルの数が格納されます。

  • デフォルト値はnullです。

  • 「folder_count」と「file_count」の合計です。

folder_count

取得したフォルダの数が格納されます。

  • デフォルト値はnullです。

file_count

取得したファイルの数が格納されます。

  • デフォルト値はnullです。

message_category

エラー発生時、発生したエラーに対応するメッセージコードのカテゴリが格納されます。

  • デフォルト値はnullです。

message_code

エラー発生時、発生したエラーに対応するメッセージコードのコードが格納されます。

  • デフォルト値はnullです。

message_level

エラー発生時、発生したエラーに対応するメッセージコードの重要度が格納されます。

  • デフォルト値はnullです。

error_type

エラー発生時、発生したエラーの種類が格納されます。

  • デフォルト値はnullです。

  • エラーの種類は、以下のような形式となります。

    例:「java.io.FileNotFoundException」

error_message

エラー発生時、発生したエラーのメッセージが格納されます。

  • デフォルト値はnullです。

error_trace

エラー発生時、発生したエラーのトレース情報が格納されます。

  • デフォルト値はnullです。

使用禁止文字を含むファイル/フォルダ名について

[ファイル名の使用禁止文字を置換して取得する]の動作については、以下のとおりです。

[チェックあり]の場合
  • Amazon S3側のファイル/フォルダ名は変更されません。

  • 以下の条件をすべて満たした場合に、「<ファイル名>_1.csv」のように名前の末尾(拡張子が存在する場合はその前)に連番を付与して取得します。

    • Amazon S3から取得したファイル/フォルダ名にHULFT Square ストレージの使用禁止文字やタブが含まれている。

    • HULFT Square ストレージの使用禁止文字やタブを置換したあとの名前が、同じ処理で取得したほかのファイル/フォルダ名と同名である。

  • 指定したローカルディレクトリーのファイル/フォルダ名と重複した場合には、[ファイルが存在する場合は上書きする]で指定された動作となります。

[チェックなし]の場合
  • HULFT Square ストレージの使用禁止文字が含まれるファイル/フォルダがローカルに作成される場合にはエラーとなります。

メッセージコード、例外メッセージ、制限事項

コネクター

メッセージコード

例外メッセージ

制限事項

Amazon S3 コネクターのメッセージおよび制限事項

check

check

check