DataSpiderファイルシステム

DataSpider Servistaでは、OSのファイルシステムとは別に独自のファイルシステム管理を行っています。 DataSpiderファイルシステムは、DataSpider Servista上で作成されたサービスをOSに依存しないようにすることを目的に設計されています。

DataSpiderファイルシステムのコンセプト

プラットフォームの差異の吸収
DataSpider Servistaでは、UNIX/Linux用のスクリプトやWindows用のスクリプトを区別する必要がありません。これは、DataSpiderファイルシステムがプラットフォームの差異を吸収しているからです。
また、DataSpider ServistaのすべてのコンポーネントがDataSpiderファイルシステムを経由してファイルアクセスを行うため、スクリプトを作成する際にもWindowsやUNIX/Linuxなどのプラットフォームを意識することなくスクリプトを作成することが可能となっています。つまり、どのプラットフォームで作成したか、そしてどのプラットフォームで動作させるかをユーザは意識する必要がありません。

ACL機能
ファイルやディレクトリにACL(Access Control List)を付与できます。このACL機能により、チームでの開発および運用が可能となります。

データの保全性
データベースにデータを格納するため、通常のOSのファイルシステム上のファイルにデータを格納する場合と比較して、データ欠損の可能性が低くなり、保全性が高まります。

DataSpiderファイルシステムのアーキテクチャ

DataSpiderファイルシステムは以下のようなアーキテクチャになっています。

Thunderbusファイルシステムを使用するには、Thunderbusコネクタを有効にする必要があります。

詳細については、「Thunderbusコネクタの設定」を参照してください。

コンポーネントレイヤ

コンポーネントレイヤは、DataSpider ServistaでDataSpiderファイルシステムを使用するすべてのツール、モジュールが含まれます。DataSpider Servistaでシステムを構築する際には、必ずコンポーネントレイヤのツール/モジュールを使用します。
DataSpider StudioやCLI Console、ファイル系アダプタなどが主なコンポーネントとなります。
コンポーネントレイヤのコンポーネントは直接物理システムレイヤにアクセスすることはできず、必ずDataSpiderファイルシステムとやり取りし、実際にデータを処理します。
DataSpiderファイルシステムで使用しているのがどのようなファイルシステム(OSの物理ファイルシステムやデータベース)であれ、コンポーネントレイヤからはまったく意識することなく、透過的に扱うことが可能です。

DataSpiderファイルシステムレイヤ

DataSpiderファイルシステムレイヤでは、上位のコンポーネントレイヤとのアクセスと、下位の物理システムレイヤのコントロールを行います。
DataSpiderファイルシステムには4つの種類があり、それぞれの方法で物理レイヤのアクセス先をコントロールします。

物理レイヤ

実際にデータを格納するレイヤです。
OSのファイルもしくはデータベースまたはその両方となります。どれになるかは上位のDataSpiderファイルシステムの設定により変わります。

DataSpiderファイルシステムの種類

DataSpiderファイルシステムは以下の4つの種類があります。

ファイルシステムの種類	説明	エクスプローラでの[種類]の表記
ローカルファイルシステム	ファイルの実データおよびメタデータはOSローカルファイルシステムにそのまま保存されます。もっとも高速に動作しますが、ファイルのオーナー、パーミッションやロックといったファイルのメタ情報を保存することができないため、DataSpiderファイルシステムのすべての利点を得ることができません。リポジトリDB無しの場合には、ローカルファイルシステムのみ使用可能です。	LOCAL
拡張ローカルファイルシステム	ファイルの実データはOSローカルファイルシステムに、ファイルのメタデータはリポジトリDBのテーブル内に保存されます。ローカルファイルシステムと比較するとパフォーマンスが劣化します。リポジトリDB有りの場合にのみ使用可能です。	LOCAL\|EXTENDED
データベースファイルシステム	リポジトリDBのテーブル内に、ファイルの実データとメタデータを格納します。DataSpiderファイルシステムのすべての利点を得ることができます。保存できるファイルサイズに制限があります(DBMS依存)。リポジトリDB有りの場合にのみ使用可能です。	なし
Thunderbusファイルシステム	Thunderbusファイルシステムとは、Thunderbus Agentによって公開されたリモートコンピューターのディレクトリをThunderbusコネクタを介して扱うことができるファイルシステムです。ファイルの実データはThunderbus Agent管理下のリモートコンピューターのディレクトリに保存されます。 Thunderbusコネクタが有効な場合にのみ使用可能です。詳細については、「Thunderbusコネクタの設定」を参照してください。	なし

OSローカルファイルシステム

OSローカルファイルシステムとは、DataSpider Servistaが稼働するOSのファイルシステムを表します。

OSローカルファイルシステムには、以下の2種類があります。

サーバOSローカルファイルシステム
- DataSpiderServerが稼働するOSのファイルシステムを表します。
クライアントOSローカルファイルシステム
- DataSpider Studioが稼働するOSのファイルシステムを表します。
- DataSpider Studio for Web、WebConsoleを参照しているウェブブラウザが稼働するOSのファイルシステムを表します。

マウント

マウントとは、OSローカルファイルシステムやデータベースのテーブルをDataSpiderファイルシステムとして使用できるようにするための仕組みです。また、マウントするDataSpiderファイルシステムのディレクトリを「マウントポイント」と呼びます。

マウントは、コントロールパネルの「マウント設定」から行います。

システムマウント

システムで使用するために、特定のディレクトリをあらかじめマウントしています。これを「システムマウント」と呼びます。
システムマウントポイントは以下の通りです。

リポジトリDB有りの場合

データベースファイルシステム
- /etc
- /home
- /share
拡張ローカルファイルシステム
- /data
- /ftp
- /testreport
ローカルファイルシステム
- /samples
- /schema
- /tmp

リポジトリDB無しの場合

ローカルファイルシステム
- /data
- /etc
- /ftp
- /home
- /samples
- /schema
- /share
- /testreport
- /tmp

システムマウントとして使用するディレクトリはシステムプロパティから変更可能です。

データベースファイルシステムの場合には変更できません。

DataSpiderファイルシステムの文字制約

DataSpiderファイルシステムでは、以下の文字を使用禁止文字としています。

「\」「/」「:」「;」「*」「?」「'」「"」「<」「>」「|」「~」

機種依存文字、および外字

WindowsとUNIX/Linuxの両プラットフォームをサポートしている関係上、両環境で使用できない文字を制限しています。
また、「~」はユーザのホームディレクトリを示すため、制限に加えています。

大文字小文字の区別について

DataSpiderファイルシステム上での大文字小文字の区別に関する現状の動作は以下の通りです。

項目	ファイルシステムの種類	動作	主な設定
/etc、/home、/share下に保存される設定名およびファイル名・ディレクトリ名 (リポジトリDB有り)	データベースファイルシステム	使用しているデータベースおよびデータベースの設定に準拠します。	プロジェクト名サービス名グローバルリソース名グローバルスキーマ名トリガー名休日設定カレンダー名アプリケーションログ出力先設定名ユーザ名・グループ名(リポジトリDB有りのみ)
/etc、/home、/share下に保存される設定名およびファイル名・ディレクトリ名 (リポジトリDB無し)	ローカルファイルシステム	DataSpiderServerが稼働しているOSに準拠します。 Windows版:大文字小文字を区別しません。 UNIX/Linux版:大文字小文字を区別します。
/etc、/home、/share以外に保存されるファイル名・ディレクトリ名	ローカルファイルシステム・拡張ローカルファイルシステム	DataSpiderServerが稼働しているOSに準拠します。 Windows版:大文字小文字を区別しません。 UNIX/Linux版:大文字小文字を区別します。	-
設定ファイル内に保存される名前	-	大文字小文字を区別します。	スクリプト名フォルダ名スクリプト変数名環境変数名各種アイコン名ログ検索条件名
マウントポイント下に保存されるファイル名・ディレクトリ名	データベースファイルシステム	大文字小文字を区別します。	-
マウントポイント下に保存されるファイル名・ディレクトリ名	ローカルファイルシステム・拡張ローカルファイルシステム・Thunderbusファイルシステム	DataSpiderServerが稼働しているOSに準拠します。 Windows版:大文字小文字を区別しません。 UNIX/Linux版:大文字小文字を区別します。	-

異なるOS間で設定の移行(サーバ移行やプロジェクトのダウンロード・アップロードなど)を行う場合、障害が発生する可能性があるため、大文字小文字を区別しないようにアプリケーションを開発されることを推奨します。

バージョンにより、動作が変わる可能性があります。

仕様制限

マウント時の制約について
- DataSpiderファイルシステムでは、/(ルート)直下に作成したディレクトリはマウントポイント専用となります。
  マウント設定を行わなかったディレクトリは、サーバの再起動時に削除されます。
- 以下のディレクトリをマウントすることは推奨していません。
  - /home、/home/<ユーザディレクトリ>
  - /home/<ユーザディレクトリ>/projectsおよび/home/<ユーザディレクトリ>/projects下のディレクトリ
  - /etcおよび/etc下のディレクトリ
  - /shareおよび/share下のディレクトリ
- マウント先で指定するディレクトリには親ディレクトリが存在する必要があります。
- WindowsサービスからDataSpiderServerを起動した場合、ネットワークドライブのディレクトリをマウントするには、Windowsサービスのログオンアカウントにネットワークドライブのディレクトリの参照権限があるユーザを指定し、DataSpiderServer再起動後、マウント元にネットワークドライブのディレクトリパスをUNC名で指定する必要があります。
DataSpiderファイルシステムの/(ルート)直下にファイルを作成することはできません。

コンポーネントに設定されている相対パスは、ファイルチューザやディレクトリチューザ、エクスプローラなどで選択したディレクトリをカレントディレクトリとした相対パスになります。
デザイナなどのクライアントツールからの実行にのみ影響します。

同一のファイルに対する書き込みや操作をマルチスレッドで行った場合の動作は保証されておりません。

OSローカルファイルシステムのディレクトリを参照するディレクトリチューザを開く際に、ローカルの環境により「ディスクがありません」というエラーダイアログが表示される場合があります。
[続行]ボタンを押下することで処理を継続することができます。

VMware上のWindowsで発生することが確認されています。(発生しない場合もあります)