データ書き込み処理

オペレーション名

機能概要

データモデル

プロパティ

基本設定

必須設定

暗号化設定

データ処理方式

コメント

スキーマ

入力スキーマ

<?xml version="1.0"?>
<table>
  <row>
    <column>bucketname</column>
    <column>public</column>
    <column>remotepath</column>
    <column>storageclass</column>
    <column>type</column>
    <column>data</column>
    <column>contenttype</column>
  </row>
  <row>
    :
  </row>
</table>

出力スキーマ

<?xml version="1.0"?>
<server>
  <bucket name="" status="" >
    <file etag="" name="" public="" remotepath="" size="" status="" storageclass="" type="" updated="" />
  </bucket>
</server>

Mapperでのスキーマ読み込み

大容量データ処理

トランザクション

PSPでの使用について

使用できるコンポーネント変数

クライアント暗号化のキー長制限について

• エラーメッセージ例:
  
  

  Unable to build cipher: Illegal key size Make sure you have the JCE unlimited strength policy files installed and configured for your JVM

• ポリシーファイルの入手方法
  Java SEダウンロードサイト(http://www.oracle.com/technetwork/java/javase/downloads/index.html)より、「Java Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy Files for JDK/JRE 8」をダウンロードします。
  展開後に生成されるポリシーファイル(local_policy.jar・US_export_policy.jar)を使用します。


• インストール手順
  1. DataSpiderServerおよびDataSpider Studioを停止します。
  2. $DATASPIDER_HOME/jre/lib/securityディレクトリ直下に、入手したポリシーファイル(local_policy.jar・US_export_policy.jar)をコピーします。
     ポリシーファイルは、念のためバックアップを取っておくことを推奨します。
  3. DataSpiderServerおよびDataSpider Studioを起動します。

仕様制限

主な例外

例外名	原因	対策
ResourceNotFoundException リソース定義が見つかりませんでした。名前:[]	[接続先]が指定されていません。	[接続先]を指定してください。
ResourceNotFoundException リソース定義が見つかりませんでした。名前:[<グローバルリソース名>]	[接続先]で選択されたリソース定義が見つかりません。	[接続先]で指定したグローバルリソースを確認してください。
IllegalArgumentException 入力データが正しくありません: <メッセージ> <メッセージ>には以下のいずれかのメッセージが入ります。 Bucket名が指定されていません。 リモートパス名が指定されていません。 ファイル/フォルダの種別が指定されていません。 ファイル/フォルダの種別<値>は不正です。 Storage Class<値>は不正です。	入力データの内容が正しくありません。	入力データの内容を確認してください。スキーマを参照ください。
InvalidPropertyConfigurationException 公開鍵が設定されていません。	[公開鍵]が指定されていません。	[公開鍵]を指定するか、[暗号化]に[クライアント側]の値を指定してください。
InvalidPropertyConfigurationException 指定された公開鍵は存在しません。	[公開鍵]で指定したファイルパスが存在しません。	[公開鍵]には、存在するファイルパスを指定してください。
InvalidPropertyConfigurationException 指定された公開鍵はディレクトリです。	[公開鍵]がディレクトリパスになっています。	[公開鍵]には、ファイルパスを指定してください。
Status Code: 403, AWS Request ID: XXXXXXXXXXXXXXXX, AWS Error Code: InvalidAccessKeyId, AWS Error Message: The AWS Access Key Id you provided does not exist in our records., S3 Extended Request ID: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX	[接続先]で指定したグローバルリソースの[Access Key ID]に誤りがあります。	[接続先]で指定したグローバルリソースの設定を確認してください。
Status Code: 403, AWS Request ID: XXXXXXXXXXXXXXXX, AWS Error Code: SignatureDoesNotMatch, AWS Error Message: The request signature we calculated does not match the signature you provided. Check your key and signing method., S3 Extended Request ID: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX	[接続先]で指定したグローバルリソースの[Secret Access Key]に誤りがあります。	[接続先]で指定したグローバルリソースの設定を確認してください。
com.amazonaws.SdkClientException Unable to execute HTTP request: <endpoint>	[接続先]で指定したグローバルリソースの[Endpoint]に誤りがあります。	[接続先]で指定したグローバルリソースの設定を確認してください。

注意事項

• Amazon S3と本アダプタとの通信は、HTTPSを使用します。


• Bucketの存在するRegionとendpointの設定が異なる場合、Bucketおよびファイル/フォルダの状態の伝播に時間がかかることがあるため、最新のBucketおよびファイル/フォルダの状態を取得できず、オペレーションの実行に失敗する場合があります。


• 本オペレーションで新規作成したBucketのRegionは、endpointの設定によって以下のように変わります。
  
  

  [Endpoint]の設定	BuchetのRegion	備考
  未設定	US Standard
  s3.amazonaws.com	US Standard
  s3-us-west-1.amazonaws.com	US-West (Northern California)
  s3-ap-southeast-1.amazonaws.com	Asia Pacific (Singapore)



• 実行時に、接続関連以外のエラー(「主な例外」項に記載のないエラー)が発生した場合、エラーが発生したファイル/フォルダのfile要素のstatus属性に「Error」を設定して結果データとして出力し、後続の処理を続行します。


• Bucket名は、以下の規則にしたがう必要があります。
  1. アルファベットまたは数字から始まり、アルファベット、数字、ピリオド(.)、ハイフン(-)のみを含むものとする。
  2. IPアドレスの形式(例:192.168.5.4)であってはならない。
  3. アンダースコア(_)を含んではならない。
  4. アルファベットは小文字でなければならない。
  5. 長さが3文字以上63文字以下でなければならない。
  6. 末尾がハイフン(-)であってはならない。
  7. 連続するピリオド(..)を含んではならない。
  8. 隣り合ったピリオドとハイフン(「-.」または「.-」)を含んではならない。


• Amazon S3の仕様により、書き込まれるファイルのファイルパス(file要素のremotepath属性)の長さ(日本語が含まれる場合はUTF-8に変換したあとのバイト数)が1025を超える場合には、ファイルの書き込みを行うことはできません。