【用語集】Data Integration

Data Integration(データ連携)とは、各種のソースからデータを抽出および結合し、形式を変更し、保存先にデータを格納するプロセスを示します。

HULFT Squareでは、各リソースの仕様の知識がなくても、コネクターを使用してさまざまなリソースの各種入出力データを処理できます。以下の図は、HULFT Squareでどのようにデータ連携が実現されるかを示しています。

図4.1 データ連携の概要

デザイナー

デザイナーでは、ETLスクリプトの開発、実行、およびデバッグをグラフィカルに行うことができます。スクリプトを作成するときにコードを記述する必要はありません。アイコンをドラッグして設定するだけで、データ接続とデータ連携を作成できます。

プロジェクトページで、目的のプロジェクトのプロジェクトを開くアイコンを選択するとデザイナーが開きます。

図4.2 デザイナー

オペレーション

オペレーションは、データの読み取りや変換、書き込みなどの処理を行う単位です。オペレーションはデザイナー上では1つのアイコン(コンポーネントアイコン)として表示されます。たとえば、CSVファイルからデータを読み取る処理はCSVファイル読み取り処理と呼ばれ、csv_readコンポーネントアイコンで表現されます。

コンポーネント

コンポーネントはオペレーションを表します。

コンポーネントは、以下の種類に分類されます。

  • コネクター

  • コンバーター

  • スクリプトコンポーネント

コンポーネントは、デザイナーのツールパレットでアイコンとして表示されます。

図4.3 コンポーネント

コネクター

コネクターとは、主にデータベースなどの外部のシステムからデータの読み取り、書き込みを行うコンポーネントです。以下の種類のコネクターが用意されています。

  • 基本

  • データベース

  • ファイル

  • アプリケーション

  • ネットワーク

  • クラウド

  • 暗号化

  • HULFT

コネクターは、デザイナーのツールパレットの下部分に表示されます。

図4.4 コネクター

コネクターによっては、使用するために追加のライセンスが必要になる場合があります。

= 備考 =

コネクターはDataSpider Servistaでは"アダプタ"と呼ばれています。

コンバーター

コンバーターとは、コネクターで読み取った結果データや変数を変換するためのコンポーネントです。

以下の種類のコンバーターが用意されています。

  • Mapper

  • 文字

  • XSLT

デザイナーのツールパレットで、コンバーターは基本および変換カテゴリに表示されます。

図4.5 コンバーター

Mapper

Mapperとは、あるコンポーネントで読み取ったデータを変換および加工して別のコンポーネントに書き込んだり、変数に代入したりできるコンポーネントです。

以下の種類のMapperが用意されています。

  • ドキュメントMapper

  • 変数Mapper

  • マージMapper

デザイナーのツールパレットで、これら3つのMapperは基本および変換カテゴリに表示されます。

図4.6 Mapper

Mapperエディターを使用して、Mapperを作成します。

スクリプトコンポーネント

スクリプトコンポーネントは、フロー制御や、他のスクリプトの呼び出し、メモの作成など、スクリプトの作成に必要な機能を表します。

デザイナーのツールパレットで、スクリプトコンポーネントは基本カテゴリに属し、処理フロー、またはその他サブカテゴリに分類されます。

図4.7 スクリプトコンポーネント