ファイル/ディレクトリ一覧取得処理

オペレーション名

ファイル/ディレクトリ一覧取得

機能概要

HDFS(Hadoop Distributed File System)のディレクトリからファイル/ディレクトリの一覧を取得します。

データモデル

本コンポーネントのデータモデルはXML型です。

プロパティ

変数の使用については、「変数」を参照してください。

基本設定

項目名	必須/省略可	変数の使用	説明	備考
名前	必須	使用不可	スクリプトキャンバス上での名前を入力します。

必須設定

項目名	必須/省略可	変数の使用	説明	備考
接続先	必須	使用不可	グローバルリソースを選択します。グローバルリソースの設定方法については、「グローバルリソースのプロパティ」を参照してください。 [追加]: 新規にグローバルリソースを追加します。 [一覧の編集]: 「リソース一覧の編集」画面にて、グローバルリソースの設定を編集することができます。
HDFSパス	必須	使用可	HDFSファイル/ディレクトリのパスを入力します。	以下の文字を使用することはできません。「」(半角スペース)「<」「>」「"」「^」「[」「]」「{」「}」「%」「\|」「`」「:」「;」マルチバイト文字を使用することはできません。

一覧取得処理設定

項目名	必須/省略可	変数の使用	説明	備考
取得オプション	省略不可	使用不可	結果にファイル/ディレクトリを含むかどうかを指定します。 [ファイル/ディレクトリ両方]:(デフォルト) ファイルとディレクトリの両方を取得します。 [ファイルのみ]: ファイルのみを取得します。 [ディレクトリのみ]: ディレクトリのみを取得します。

項目名	必須/省略可	変数の使用	説明	備考
コメント	省略可	使用不可	このアダプタの簡単な説明を記述することができます。説明を記述すると、仕様書に反映させることができます。

スキーマ

入力スキーマ

ありません。

出力スキーマ

<?xml version="1.0" encoding="UTF-8"?>
<hdfs>
  <file name="" url="" owner="" size="" isDirectory="" updated="" />
</hdfs>

要素名	属性名	説明	補足
hdfs	-
file	-	ファイル/ディレクトリを表します。
	name	ファイル/ディレクトリ名を表します。
	url	ファイルを指すWebHDFSのURLを表します。
	owner	ファイル/ディレクトリのオーナーを表します。
	size	ファイルのサイズを表します
	isDirectory	ファイルかディレクトリかを表します。	ディレクトリの場合「true」になります。
	updated	ファイル/ディレクトリの最終更新日時を表します。	システムプロパティ内の「xmlfw.daterenderingformat」で設定されたフォーマットで出力されます。設定されていない場合には、デフォルトの形式「yyyy-MM-dd'T'HH:mm:ss.SSSZZ」で出力されます。例:2007-10-16T13:15:22.738+0900

Mapperでのスキーマ読み込み

スキーマは自動で読み込まれます。

詳細については、「スキーマ編集」を参照してください。

大容量データ処理

大容量データ処理に対応していません。

PSPでの使用について

PSPでは使用できません。

使用できるコンポーネント変数

コンポーネント変数名	説明	備考
count	読み取ったデータの件数が格納されます。	デフォルト値はnullです。
directoryPath	一覧を取得するHDFS上のディレクトリのパスが格納されます。	デフォルト値はnullです。
message_category	エラー発生時、発生したエラーに対応するメッセージコードのカテゴリが格納されます。	デフォルト値はnullです。
message_code	エラー発生時、発生したエラーに対応するメッセージコードのコードが格納されます。	デフォルト値はnullです。
message_level	エラー発生時、発生したエラーに対応するメッセージコードの重要度が格納されます。	デフォルト値はnullです。
error_type	エラー発生時、発生したエラーの種類が格納されます。	デフォルト値はnullです。エラーの種類は、以下のような形式となります。例:「java.io.FileNotFoundException」 DataSpider Servistaのバージョンにより、格納される内容が変わる可能性があります。
error_message	エラー発生時、発生したエラーのメッセージが格納されます。	デフォルト値はnullです。 DataSpider Servistaのバージョンにより、格納される内容が変わる可能性があります。
error_trace	エラー発生時、発生したエラーのトレース情報が格納されます。	デフォルト値はnullです。 DataSpider Servistaのバージョンや実行するクライアントアプリケーションにより、格納される内容が変わる可能性があります。

仕様制限

取得するファイル/ディレクトリの名前にマルチバイト文字または「%」が含まれる場合、正しく取得できない、または取得時にエラーになります。

主な例外

例外名	原因	対策
ResourceNotFoundException リソース定義が見つかりませんでした。名前:[]	[接続先]が指定されていません。	[接続先]を指定してください。
ResourceNotFoundException リソース定義が見つかりませんでした。名前:[<グローバルリソース名>]	[接続先]で選択されたリソース定義が見つかりません。	[接続先]で指定したグローバルリソースを確認してください。
InvalidPropertyConfigurationException <プロパティ名>が指定されていません。	[<プロパティ名>]が指定されていません。	[<プロパティ名>]を指定してください。
java.io.FileNotFoundException	[HDFSパス]に指定されたファイルが存在しません。	[HDFSパス]を確認してください。