DataSpiderファイルシステム

DataSpider Servistaでは、OSのファイルシステムとは別に独自のファイルシステム管理を行っています。 DataSpiderファイルシステムは、DataSpider Servista上で作成されたサービスをOSに依存しないようにすることを目的に設計されています。

DataSpiderファイルシステムのコンセプト

プラットフォームの差異の吸収
DataSpider Servistaでは、UNIX用のスクリプトやWindows用のスクリプトを区別する必要がありません。これは、DataSpiderファイルシステムがプラットフォームの差異を吸収しているからです。
また、DataSpider ServistaのすべてのコンポーネントがDataSpiderファイルシステムを経由してファイルアクセスを行うため、スクリプトを作成する際にもWindowsやUNIXなどのプラットフォームを意識することなくスクリプトを作成することが可能となっています。つまり、どのプラットフォームで作成したか、そしてどのプラットフォームで動作させるかをユーザは意識する必要がありません。

ACL機能
ファイルやディレクトリにACL(Access Control List)を付与できます。このACL機能により、チームでの開発および運用が可能となります。

データの保全性
データベースにデータを格納するため、通常のOSのファイルシステム上のファイルにデータを格納する場合と比較して、データ欠損の可能性が低くなり、保全性が高まります。

DataSpiderファイルシステムのアーキテクチャ

DataSpiderファイルシステムは以下のようなアーキテクチャになっています。

コンポーネントレイヤ

コンポーネントレイヤは、DataSpider ServistaでDataSpiderファイルシステムを使用するすべてのツール、モジュールが含まれます。DataSpider Servistaでシステムを構築する際には、必ずコンポーネントレイヤのツール/モジュールを使用します。
DataSpider StudioやCLI Console、ファイル系アダプタなどが主なコンポーネントとなります。
コンポーネントレイヤのコンポーネントは直接物理システムレイヤにアクセスすることはできず、必ずDataSpiderファイルシステムとやり取りし、実際にデータを処理します。
DataSpiderファイルシステムで使用しているのがどのようなファイルシステム(OSの物理ファイルシステムやデータベース)であれ、コンポーネントレイヤからはまったく意識することなく、透過的に扱うことが可能です。

DataSpiderファイルシステムレイヤ

DataSpiderファイルシステムレイヤでは、上位のコンポーネントレイヤとのアクセスと、下位の物理システムレイヤのコントロールを行います。
DataSpiderファイルシステムには3つの種類があり、それぞれの方法で物理レイヤのアクセス先をコントロールします。

物理レイヤ

実際にデータを格納するレイヤです。
OSのファイルもしくはデータベースまたはその両方となります。どれになるかは上位のDataSpiderファイルシステムの設定により変わります。

DataSpiderファイルシステムの種類

DataSpiderファイルシステムは以下の3つの種類があります。

ファイルシステムの種類	説明	エクスプローラでの[種類]の表記
ローカルファイルシステム	ファイルの実データおよびメタデータはOSローカルファイルシステムにそのまま保存されます。最も高速に動作しますが、ファイルのオーナー、パーミッションやロックと言ったファイルのメタ情報を保存することができないため、DataSpiderファイルシステムのすべての利点を得ることができません。リポジトリDB無しの場合には、ローカルファイルシステムのみ使用可能です。	LOCAL
拡張ローカルファイルシステム	ファイルのメタ情報がリポジトリDBのテーブル内に保存され、データはOSローカルファイルシステムに保存されます。ローカルファイルシステムと比較するとパフォーマンスが劣化します。リポジトリDB有りの場合にのみ使用可能です。	LOCAL\|EXTENDED
データベースファイルシステム	リポジトリDBのテーブル内に、ファイルの実データとメタデータを格納します。DataSpiderファイルシステムのすべての利点を得ることができます。保存できるファイルサイズに制限があります(DBMS依存)。リポジトリDB有りの場合にのみ使用可能です。	なし

DataSpiderファイルシステムの種類は、マウントの種類と同義となります。

OSローカルファイルシステム

OSローカルファイルシステムとは、DataSpider Servistaが稼動しているOSのファイルシステムを表します。
OSローカルファイルシステムには、以下の2種類があります。

サーバOSローカルファイルシステム
DataSpiderServerが稼動しているOSのファイルシステムを表します。
クライアントOSローカルファイルシステム
DataSpider Studioが稼動しているOSのファイルシステムを表します。

マウント

マウントとは、OSローカルファイルシステムやデータベースのテーブルをDataSpiderファイルシステムとして使用できるようにするための仕組みです。また、マウントするDataSpiderファイルシステムのディレクトリを「マウントポイント」と呼びます。

マウントは、コントロールパネルの「マウント設定」から行います。

システムマウント

システムで使用するために、特定のディレクトリをあらかじめマウントしています。これを「システムマウント」と呼びます。
システムマウントポイントは以下の通りです。

リポジトリDB有りの場合

データベースファイルシステム
- /etc
- /home
- /share
拡張ローカルファイルシステム
- /data
- /ftp
ローカルファイルシステム
- /samples
- /schema
- /tmp

リポジトリDB無しの場合

ローカルファイルシステム
- /data
- /etc
- /ftp
- /home
- /samples
- /schema
- /share
- /tmp

これらのディレクトリにユーザがマウントの設定を行うことはできません。

DataSpiderファイルシステムの文字制約

DataSpiderファイルシステムでは、以下の文字を使用禁止文字としています。

「\」「/」「:」「;」「*」「?」「'」「"」「<」「>」「|」「~」

機種依存文字、および外字

WindowsとUNIXの両プラットフォームをサポートしている関係上、両環境で使用できない文字を制限しています。
また、「~」はユーザのホームディレクトリを示すため、制限に加えています。

大文字小文字の区別について

DataSpiderファイルシステム上での大文字小文字の区別に関する現状の動作は以下の通りです。

項目	ファイルシステムの種類	動作	主な設定
/etc、/home、/share下に保存される設定名およびファイル名・ディレクトリ名 (リポジトリDB有り)	データベースファイルシステム	大文字小文字を区別します。	プロジェクト名サービス名グローバルリソース名トリガー名休日設定カレンダー名アプリケーションログ出力先設定名ユーザ名・グループ名(リポジトリDB有りのみ)
/etc、/home、/share下に保存される設定名およびファイル名・ディレクトリ名 (リポジトリDB無し)	ローカルファイルシステム	DataSpiderServerが稼動しているOSに準拠します。 Windows版:大文字小文字を区別しません。 UNIX版:大文字小文字を区別します。
/etc、/home、/share以外に保存されるファイル名・ディレクトリ名	ローカルファイルシステム・拡張ローカルファイルシステム	DataSpiderServerが稼動しているOSに準拠します。 Windows版:大文字小文字を区別しません。 UNIX版:大文字小文字を区別します。	-
設定ファイル内に保存される名前	-	大文字小文字を区別します。	スクリプト名フォルダ名スクリプト変数名環境変数名各種アイコン名ログ検索条件名
マウントポイント下に保存されるファイル名・ディレクトリ名	データベースファイルシステム	大文字小文字を区別します。	-
マウントポイント下に保存されるファイル名・ディレクトリ名	ローカルファイルシステム・拡張ローカルファイルシステム	DataSpiderServerが稼動しているOSに準拠します。 Windows版:大文字小文字を区別しません。 UNIX版:大文字小文字を区別します。	-

異なるOS間で設定の移行(サーバ移行やプロジェクトのダウンロード・アップロードなど)を行う場合、障害が発生する可能性があるため、大文字小文字を区別しないようにアプリケーションを開発されることをお奨めいたします。

バージョンにより、動作が変わる可能性があります。