ファイル/フォルダ一覧取得処理

オペレーション名

ファイル/フォルダ一覧取得

機能概要

Amazon S3上にあるファイル/フォルダの一覧を取得します。

データモデル

本コンポーネントのデータモデルはXML型です。
入出力のスキーマについては「スキーマ」を参照してください。

プロパティ

基本設定

項目名	必須/省略可	変数の使用	説明	補足
名前	必須	使用不可	スクリプトキャンバス上での名前を入力します。

必須設定

項目名	必須/省略可	変数の使用	説明	補足
接続先	必須	使用不可	グローバルリソースを選択します。 [追加]: 新規にグローバルリソースを追加します。 [一覧の編集]: 「リソース一覧の編集」プロパティにて、グローバルリソースの設定を編集することができます。
Bucket名	必須	使用可	Bucketを指定します。	[Bucket名]に大量のファイルが存在するBucketを指定した場合、[フォルダパス]のリストの更新に時間がかかることがあります。回避方法については、「注意事項」項を参照してください。
フォルダパス	必須	使用可	Amazon S3上のフォルダを「/」(スラッシュ)から始まる絶対パスで入力します。
再帰的に処理する	省略可	使用不可	指定したフォルダについて、再帰的に一覧を取得するかどうかを選択します。 [チェックあり]: 指定したフォルダにフォルダが含まれる場合、再帰的に一覧を取得します。 [チェックなし]:(デフォルト) 指定したフォルダのみ一覧を取得します。
アクセス権の情報を結果に含める	省略可	使用不可	ファイルのアクセス権の情報を結果に含めるかどうかを選択します。 [チェックあり]: ファイルのアクセス権の情報を結果に含めます。 [チェックなし]:(デフォルト) ファイルのアクセス権の情報を結果に含めません。

データ処理方式

項目名	必須/省略可	変数の使用	説明	補足
データ処理方式	必須	使用不可	データ処理方式を選択します。 [スクリプトの設定を使用する]:(デフォルト) スクリプトプロパティの大容量データ処理の設定をアダプタに使用します。 [大容量データ処理を行わない]: 大容量データ処理を行いません。 [大容量データ処理を行う]: 大容量データ処理を行います。

項目名	必須/省略可	変数の使用	説明	補足
コメント	省略可	使用不可	このアダプタの簡単な説明を記述することができます。説明を記述すると、仕様書に反映させることができます。

スキーマ

<?xml version="1.0"?>
<server>
  <bucket name="" status="" >
    <file etag="" name="" public="" remotepath="" size="" status="" storageclass="" type="" updated="" />
  </bucket>
</server>

要素名	属性名	説明	補足
*server*	-
*bucket*	-	取得したBucketごとに出現します。
	*name*	取得したBucketの名前を出力します。
	*status*	取得したBucketの状態を出力します。 Exist:Bucketが存在している状態です。 ErrorBucketNotFound:指定した[Bucket]がAmazon S3上に存在しない状態です。指定したBucket名が誤っている可能性があります。 Error:エラーが発生したため、Bucketの取得ができなかった状態です。
*file*	-	取得したファイル/フォルダごとに出現します。
	*etag*	取得したファイル/フォルダのETagを出力します。	ファイル/フォルダの情報が正常に取得できなかった場合は値が空白になります。
	*name*	取得したファイル/フォルダの名前を出力します。	*status*が「ErrorRemoteFolderNotFound」の場合は値が空白になります。
	*public*	取得したファイル/フォルダのアクセス権を出力します。 true:公開 false:非公開	ファイル/フォルダの情報が正常に取得できなかった場合は値が空白になります。「AllUsers Group(http://acs.amazonaws.com/groups/global/AllUsers)」に「READ」権限が付与されている場合に、「公開」としています。 [アクセス権の情報を結果に含める]が[チェックなし]の場合は値が空白になります。
	*remotepath*	取得したファイル/フォルダのAmazon S3上のファイルパスを出力します。
	*size*	取得したファイル/フォルダのサイズを出力します。単位はバイトです。	ファイル/フォルダの情報が正常に取得できなかった場合は値が空白になります。フォルダの場合は常に「0」が出力されます。
	*status*	取得したファイル/フォルダの状態を出力します。 Exist:ファイル/フォルダが存在している状態です。 ErrorRemoteFolderNotFound:指定した[フォルダパス]がAmazon S3上に存在しない、またはファイルを指定した状態です。 Error:エラーが発生したため、ファイル/フォルダ情報の取得ができなかった状態です。
	*storageclass*	取得したファイル/フォルダのStorage Classを出力します。 STANDARD:Standard REDUCED_REDUNDANCY:RRS(Reduced Redundancy Storage)	ファイル/フォルダの情報が正常に取得できなかった場合は、値が空白になります。
	*type*	取得したファイル/フォルダの種別を出力します。 File:ファイル Folder:フォルダ
	*updated*	取得したファイル/フォルダの最終更新日時を出力します。	ファイル/フォルダの情報が正常に取得できなかった場合は値が空白になります。システムプロパティ内の「xmlfw.daterenderingformat」で設定されたフォーマットで出力されます。設定されていない場合には、デフォルトの形式「yyyy-MM-dd'T'HH:mm:ss.SSSZZ」で出力されます。例:2007-10-16T13:15:22.738+0900 タイムゾーンはDataSpiderServerのタイムゾーンになります。

大容量データ処理

大容量データ処理に対応しています。

使用できるコンポーネント変数

コンポーネント変数名	説明
count	取得したフォルダ数とファイル数を合計した数を返します。
folder_count	取得したフォルダ数を返します。
file_count	取得したファイル数を返します。
error_type	エラーが発生したときに、エラーの種類を返します。 java.io.FileNotFoundExceptionというような形式で返されます。エラーが発生しなかった時にはnullを返します。バージョンにより、内容が変わる可能性があります。
error_message	エラーが発生したときのエラーメッセージを返します。バージョンにより、内容が変わる可能性があります。
error_trace	エラーが発生したときのトレース情報を返します。バージョンにより、内容が変わる可能性があります。

主な例外

例外名	原因	対策
ResourceNotFoundException リソース定義が見つかりませんでした。名前:[]	[接続先]が指定されていません。	[接続先]を指定してください。
ResourceNotFoundException リソース定義が見つかりませんでした。名前:[<グローバルリソース名>]	[接続先]で選択されたリソース定義が見つかりません。	[接続先]で指定したグローバルリソースを確認してください。
InvalidPropertyConfigurationException <プロパティ名>が指定されていません。	[<プロパティ名>]が指定されていません。	[<プロパティ名>]を指定してください。
Status Code: 403, AWS Request ID: XXXXXXXXXXXXXXXX, AWS Error Code: InvalidAccessKeyId, AWS Error Message: The AWS Access Key Id you provided does not exist in our records., S3 Extended Request ID: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX	[接続先]で指定したグローバルリソースの[Access Key ID]に誤りがあります。	[接続先]で指定したグローバルリソースの設定を確認してください。
Status Code: 403, AWS Request ID: XXXXXXXXXXXXXXXX, AWS Error Code: SignatureDoesNotMatch, AWS Error Message: The request signature we calculated does not match the signature you provided. Check your key and signing method., S3 Extended Request ID: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX	[接続先]で指定したグローバルリソースの[Secret Access Key]に誤りがあります。	[接続先]で指定したグローバルリソースの設定を確認してください。
Unable to execute HTTP request: <endpoint>	[接続先]で指定したグローバルリソースの[Endpoint]に誤りがあります。	[接続先]で指定したグローバルリソースの設定を確認してください。

注意事項

Amazon S3と本アダプタとの通信は、HTTPSを使用します。

Bucketの存在するRegionとendpointの設定が異なる場合、Bucketおよびファイル/フォルダの状態の伝播に時間がかかることがあるため、最新のBucketおよびファイル/フォルダの状態を取得できず、オペレーションの実行に失敗する場合があります。

[Bucket名]に大量のファイルが存在するBucketを指定した場合、[フォルダパス]のリストの更新に時間がかかることがあります。
このような場合には、以下のプロパティ項目を設定し、リストにアイテムが表示されないようにしてください。

キー	配置場所	説明	補足
itemmaxsize	${dataspider.home}/server/plugin/data_processing/modules/amazon_s3_adapter/META-INF/ adapter.properties	設定手順は以下の通りです。 DataSpiderServerを停止します。 adapter.propertiesファイルを開き、「itemmaxsize=0」を追加して保存します。 DataSpiderServerを起動します。	本プロパティを設定した場合、フォルダのパスは[フォルダパス]に直入力してください。

実行時に、接続関連以外のエラー(「主な例外」項に記載のないエラー)が発生した場合、エラーが発生したファイル/フォルダのfile要素のstatus属性に「Error」を設定して結果データとして出力し、後続の処理を続行します。