ファイル/フォルダコピー処理

オペレーション名

ファイル/フォルダコピー

機能概要

Amazon S3上にあるファイル/フォルダを、Amazon S3の指定したBucketのフォルダにコピーします。

データモデル

本コンポーネントのデータモデルはXML型です。

プロパティ

変数の使用については、「変数」を参照してください。

基本設定

項目名	必須/省略可	変数の使用	説明	備考
名前	必須	使用不可	スクリプトキャンバス上での名前を入力します。

必須設定

項目名	必須/省略可	変数の使用	説明	備考
接続先	必須	使用不可	グローバルリソースを選択します。グローバルリソースの設定方法については、「グローバルリソースのプロパティ」を参照してください。 [追加]: 新規にグローバルリソースを追加します。 [一覧の編集]: 「リソース一覧の編集」画面にて、グローバルリソースの設定を編集することができます。
コピー元Bucket名	必須	使用可	コピー元のBucketを選択または入力します。	大量のファイルが存在するBucketを指定した場合、[コピー元フォルダパス]のリストの更新に時間がかかることがあります。回避方法については、「注意事項」を参照してください。
コピー元フォルダパス	必須	使用可	コピー元のAmazon S3のフォルダパスを選択または入力します。	フォルダパスはAmazon S3の絶対パスで指定してください。パス区切り文字「/」以外のDataSpiderファイルシステムの使用禁止文字は使用できません。
コピー元ファイル/フォルダ名	必須	使用可	コピー元のファイル/フォルダを選択または入力します。	ワイルドカード(「*」および「?」)が使用できます。「/」を含めることはできません。フォルダを指定した場合、再帰的にコピーされます。
コピー先Bucket名	必須	使用可	コピー先のBucketを選択または入力します。	大量のファイルが存在するBucketを指定した場合、[コピー先フォルダパス]のリストの更新に時間がかかることがあります。回避方法については、「注意事項」を参照してください。
コピー先Bucketが存在しない場合は作成する	省略可	使用不可	指定したコピー先Bucketが存在しない場合に作成するかどうかを選択します。 [チェックあり]: 指定したコピー先Bucketが存在しない場合にBucketを作成します。 [チェックなし]:(デフォルト) 指定したコピー先Bucketが存在しない場合にBucketを作成せずエラーとします。
コピー先フォルダパス	必須	使用可	コピー先のAmazon S3のフォルダパスを選択または入力します。	フォルダパスはAmazon S3の絶対パスで指定してください。パス区切り文字「/」以外のDataSpiderファイルシステムの使用禁止文字は使用できません。
コピー先フォルダが存在しない場合は作成する	省略可	使用不可	指定したコピー先フォルダが存在しない場合に作成するかどうかを選択します。 [チェックあり]:(デフォルト) 指定したコピー先フォルダが存在しない場合にフォルダを作成します。 [チェックなし]: 指定したコピー先フォルダが存在しない場合にフォルダを作成せずエラーとします。
コピー先ファイル/フォルダ名	省略可	使用可	コピー先のファイル/フォルダを選択または入力します。	「/」を含めることはできません。省略した場合、コピー元のファイル/フォルダ名でコピーされます。 [コピー元ファイル/フォルダ名]にワイルドカードを使用した場合、コピー元のファイル/フォルダ名でコピーされます。
コピー先ファイルが存在する場合は上書きする	省略可	使用不可	指定したコピー先フォルダに同名のファイルが存在する場合、上書きするかどうかを選択します。 [チェックあり]:(デフォルト) 指定したコピー先フォルダに同名のファイルが存在した場合に上書きします。 [チェックなし]: 指定したコピー先フォルダに同名のファイルが存在した場合に上書きせずエラーとします。
アクセス権の情報を結果に含める	省略可	使用不可	コピー先ファイル/フォルダのアクセス権の情報を結果に含めるかどうかを選択します。 [チェックあり]: アクセス権の情報を結果に含めます。 [チェックなし]:(デフォルト) アクセス権の情報を結果に含めません。

データ処理方式

項目名	必須/省略可	変数の使用	説明	備考
データ処理方式	必須	使用不可	データ処理方式を選択します。 [スクリプトの設定を使用する]:(デフォルト) スクリプトプロパティの大容量データ処理の設定をアダプタに使用します。 [大容量データ処理を行わない]: 大容量データ処理を行いません。 [大容量データ処理を行う]: 大容量データ処理を行います。	本設定は、結果データの出力処理方式に関する設定になります。そのため、コピーするファイル/フォルダには影響しません。

項目名	必須/省略可	変数の使用	説明	備考
コメント	省略可	使用不可	このアダプタの簡単な説明を記述することができます。説明を記述すると、仕様書に反映させることができます。

スキーマ

入力スキーマ

ありません。

出力スキーマ

<?xml version="1.0"?>
<server>
  <bucket source_name="" destination_name="" status="" >
    <file etag="" name="" public="" source_remotepath="" destination_remotepath="" size="" status="" storageclass="" type="" source_updated="" destination_updated="" />
  </bucket>
</server>

要素名	属性名	説明	備考
server	-
bucket	-	取得したBucketが出現します。
	source_name	取得したコピー元Bucketの名前を出力します。
	destination_name	取得したコピー先Bucketの名前を出力します。
	status	取得したコピー元およびコピー先のBucketの状態を出力します。 Exist:コピー元およびコピー先のBucketが存在している状態です。 ErrorSourceBucketNotFound:[コピー元Bucket名]に指定したBucketがAmazon S3上に存在しない状態です。指定したBucket名が誤っている可能性があります。 ErrorDestinationBucketNotFound:[コピー先Bucket名]に指定したBucketがAmazon S3上に存在しない状態です。指定したBucket名が誤っている可能性があります。 Error:エラーが発生したため、コピー元またはコピー先のBucketの取得ができなかった状態です。
file	-	コピーしたファイル/フォルダごとに出現します。
	etag	コピーしたファイル/フォルダのETagを出力します。	ファイル/フォルダが正常にコピーされなかった場合は値が空白になります。
	name	コピーしたファイル/フォルダの名前を出力します。	statusが「ErrorSourceFolderNotFound」の場合は値が空白になります。 statusが「ErrorDestinationFolderNotFound」の場合は値が空白になります。
	public	コピーしたファイル/フォルダのアクセス権を出力します。 true:公開 false:非公開	ファイル/フォルダが正常にコピーされなかった場合は値が空白になります。「AllUsers Group」に「READ」権限が付与されている場合に、「公開」としています。 [アクセス権の情報を結果に含める]が[チェックなし]の場合は値が空白になります。
	source_remotepath	コピー元ファイル/フォルダのAmazon S3上のファイルパスを出力します。
	destination_remotepath	コピー先ファイル/フォルダのAmazon S3上のファイルパスを出力します。
	size	コピーしたファイル/フォルダのサイズを出力します。単位はバイトです。	ファイル/フォルダが正常にコピーされた場合に出力されます。
	status	コピー元およびコピー先のファイル/フォルダの状態を出力します。 Exist:コピー先のファイル/フォルダが存在している状態です。 Virtual:Amazon S3上に、指定した[コピー先フォルダパス]自体は存在しないが、その配下にフォルダまたはファイルが存在する状態です。 ErrorSourceFolderNotFound:Amazon S3上に、指定した[コピー元フォルダパス]が存在しない、またはファイルを指定した状態です。 ErrorSourceFileNotFound:Amazon S3上で、指定した[コピー元フォルダパス]内に指定したファイル/フォルダが存在しない状態です。 ErrorDestinationFolderNotFound:Amazon S3上に、指定した[コピー先フォルダパス]が存在しない、またはファイルを指定した状態です。 ErrorDestinationFileExist:[コピー先ファイルが存在する場合は上書きする]が[チェックなし]で、Amazon S3上で、指定した[コピー先フォルダパス]内に同名ファイルが存在した状態です。 Error:エラーが発生したため、ファイル/フォルダのコピーができなかった状態です。
	storageclass	コピーしたファイル/フォルダのStorage Classを出力します。 STANDARD:Standard REDUCED_REDUNDANCY:RRS(Reduced Redundancy Storage) STANDARD_IA:Standard_IA	ファイル/フォルダが正常にコピーされなかった場合は値が空白になります。
	type	コピーしたファイル/フォルダの種別を出力します。 File:ファイル Folder:フォルダ
	source_updated	コピー元ファイル/フォルダの最終更新日時を出力します。	ファイル/フォルダが正常に取得できなかった場合は値が空白になります。システムプロパティ内の「xmlfw.daterenderingformat」で設定されたフォーマットで出力されます。設定されていない場合には、デフォルトの形式「yyyy-MM-dd'T'HH:mm:ss.SSSZZ」で出力されます。例:2007-10-16T13:15:22.738+0900 タイムゾーンはDataSpiderServerのタイムゾーンになります。
	destination_updated	コピー先ファイル/フォルダの最終更新日時を出力します。	ファイル/フォルダが正常にコピーされなかった場合は値が空白になります。システムプロパティ内の「xmlfw.daterenderingformat」で設定されたフォーマットで出力されます。設定されていない場合には、デフォルトの形式「yyyy-MM-dd'T'HH:mm:ss.SSSZZ」で出力されます。例:2007-10-16T13:15:22.738+0900 タイムゾーンはDataSpiderServerのタイムゾーンになります。

Mapperでのスキーマ読み込み

スキーマは自動で読み込まれます。

詳細については、「スキーマ編集」を参照してください。

大容量データ処理

大容量データ処理に対応しています。

PSPでの使用について

PSPでは使用できません。

使用できるコンポーネント変数

コンポーネント変数名	説明	備考
count	コピーしたフォルダおよびファイルの数が格納されます。	デフォルト値はnullです。「folder_count」と「file_count」の合計です。
folder_count	コピーしたフォルダの数が格納されます。	デフォルト値はnullです。 file要素のstatus属性が「Virtual」のフォルダは数に含まれません。
file_count	コピーしたファイルの数が格納されます。	デフォルト値はnullです。
message_category	エラー発生時、発生したエラーに対応するメッセージコードのカテゴリが格納されます。	デフォルト値はnullです。
message_code	エラー発生時、発生したエラーに対応するメッセージコードのコードが格納されます。	デフォルト値はnullです。
message_level	エラー発生時、発生したエラーに対応するメッセージコードの重要度が格納されます。	デフォルト値はnullです。
error_type	エラー発生時、発生したエラーの種類が格納されます。	デフォルト値はnullです。エラーの種類は、以下のような形式となります。例:「java.io.FileNotFoundException」 DataSpider Servistaのバージョンにより、格納される内容が変わる可能性があります。
error_message	エラー発生時、発生したエラーのメッセージが格納されます。	デフォルト値はnullです。 DataSpider Servistaのバージョンにより、格納される内容が変わる可能性があります。
error_trace	エラー発生時、発生したエラーのトレース情報が格納されます。	デフォルト値はnullです。 DataSpider Servistaのバージョンや実行するクライアントアプリケーションにより、格納される内容が変わる可能性があります。

仕様制限

[コピー元Bucket名]および[コピー先Bucket名]に指定したBucketが異なるRegionに存在する場合、コピーできません。

暗号化キーによるサーバー側の暗号化(SSE-C)を使用したファイルおよびフォルダは、コピーできません。
詳細については、「お客様が用意した暗号化キーによるサーバー側の暗号化（SSE-C）を使用したデータの保護」(https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/ServerSideEncryptionCustomerKeys.html)を参照してください。

主な例外

例外名	原因	対策
ResourceNotFoundException リソース定義が見つかりませんでした。名前:[]	[接続先]が指定されていません。	[接続先]を指定してください。
ResourceNotFoundException リソース定義が見つかりませんでした。名前:[<グローバルリソース名>]	[接続先]で選択されたリソース定義が見つかりません。	[接続先]で指定したグローバルリソースを確認してください。
InvalidPropertyConfigurationException <プロパティ名>が指定されていません。	[<プロパティ名>]が指定されていません。	[<プロパティ名>]を指定してください。
InvalidPropertyConfigurationException コピー元ファイル/フォルダ名に「/」が含まれています。	[コピー元ファイル/フォルダ名]に「/」が含まれています。	[コピー元ファイル/フォルダ名]には、「/」を含まないファイル/フォルダ名を指定してください。
InvalidPropertyConfigurationException コピー先ファイル/フォルダ名に「/」が含まれています。	[コピー先ファイル/フォルダ名]に「/」が含まれています。	[コピー先ファイル/フォルダ名]には、「/」を含まないファイル/フォルダ名を指定してください。
com.amazonaws.services.s3.model.AmazonS3Exception The AWS Access Key Id you provided does not exist in our records.	[接続先]で指定したグローバルリソースの[Access Key ID]に誤りがあります。	[接続先]で指定したグローバルリソースの設定を確認してください。
com.amazonaws.services.s3.model.AmazonS3Exception The request signature we calculated does not match the signature you provided. Check your key and signing method.	[接続先]で指定したグローバルリソースの[Secret Access Key]に誤りがあります。	[接続先]で指定したグローバルリソースの設定を確認してください。
InvalidPropertyException Endpoint does not contain a valid host name: <endpoint>	[接続先]で指定したグローバルリソースの[Endpoint]に誤りがあります。	[接続先]で指定したグローバルリソースの設定を確認してください。

注意事項

Amazon S3と本アダプタとの通信は、HTTPSを使用します。

Bucketの存在するRegionとendpointの設定が異なる場合、Bucketおよびファイル/フォルダの状態の伝播に時間がかかることがあるため、最新のBucketおよびファイル/フォルダの状態を取得できず、オペレーションの実行に失敗する場合があります。

[コピー元Bucket名]および[コピー先Bucket名]に大量のファイルが存在するBucketを指定した場合、[コピー元フォルダパス]および[コピー先フォルダパス]のリストの更新に時間がかかることがあります。
このような場合には、以下のプロパティ項目を設定し、リストにアイテムが表示されないようにしてください。

キー	配置場所	説明	備考
itemmaxsize	$DATASPIDER_HOME/server/plugin/data_processing/modules/amazon_s3_adapter/META-INF/ adapter.properties	設定手順は以下の通りです。 DataSpiderServerを停止します。 adapter.propertiesファイルを開き、「itemmaxsize=0」を追加して保存します。 DataSpiderServerを起動します。	本プロパティを設定した場合、以下の項目にはフォルダのパスを直入力してください。 [コピー元フォルダパス] [コピー先フォルダパス]

本オペレーションで新規作成したBucketのRegionは、endpointの設定によって以下のように変わります。

[Endpoint]の設定	BucketのRegion	備考
未設定	US Standard
s3.amazonaws.com	US Standard
s3-us-west-1.amazonaws.com	US-West (Northern California)
s3-ap-southeast-1.amazonaws.com	Asia Pacific (Singapore)

実行時に、接続関連以外のエラー(「主な例外」項に記載のないエラー)が発生した場合、エラーが発生したファイル/フォルダのfile要素のstatus属性に「Error」を設定して結果データとして出力し、後続の処理を続行します。

Bucket名は、以下の規則にしたがう必要があります。
1. アルファベットまたは数字から始まり、アルファベット、数字、ピリオド(.)、ハイフン(-)のみを含むものとする。
2. IPアドレスの形式(例:192.168.5.4)であってはならない。
3. アンダースコア(_)を含んではならない。
4. アルファベットは小文字でなければならない。
5. 長さが3文字以上63文字以下でなければならない。
6. 末尾がハイフン(-)であってはならない。
7. 連続するピリオド(..)を含んではならない。
8. 隣り合ったピリオドとハイフン(「-.」または「.-」)を含んではならない。

Amazon S3の仕様により、コピー先のファイルパス(file要素のdestination_remotepath属性)の長さ(日本語が含まれる場合はUTF-8に変換したあとのバイト数)が1025を超える場合には、ファイルのコピーを行うことはできません。

file要素のstatus属性が「Virtual」のフォルダの件数は、実行ログには仮想フォルダの件数として出力されます。