クロールについて

クロールされる情報について

= 備考 =

用語

意味

スクリプトコメント

DataSpiderのスクリプトに設定されているコメントです。

テーブルに対するコメント

データベースのテーブルに設定されているコメントです。

ビューの参照元情報

データベースのビューを定義しているSQL文です。

カラムの制約情報

データベースのカラムに付与されている制約です。

以下の制約が確認可能です。

  • 非Null制約(NOT NULL)

  • 一意性制約(UNIQUE)

  • 主キー(Primary Key)

  • 外部キー(Foreign Key)

JDBC の場合、接続先によっては取得できない制約情報があります。

クロールされる情報は 以下の通りです。

 

DataSpider の場合

  • 接続先一覧(グローバルリソース)

  • プロジェクト情報

    • プロジェクト名

  • スクリプト情報

    • スクリプト名

    • スクリプトコメント

= 備考 =

「接続先一覧(グローバルリソース)」において、下記のみがクロール対象です。

  • グローバルリソースの種類:データベース

    • Db2

    • MySQL

    • Oracle

    • PostgreSQL

    • SQL Server

    • JDBC

  • グローバルリソースの種類:クラウド

    • Amazon RDS for MySQL

    • Amazon RDS for Oracle

    • Amazon RDS for PostgreSQL

    • Amazon RDS for SQL Server

 

PostgreSQL、Oracle、SQL Server、MySQL、Db2、JDBC の場合

  • スキーマ情報(MySQL 以外)

    • スキーマ名

  • テーブル/ビュー情報

    • テーブル名/ビュー名

    • テーブル/ビューに対するコメント(SQL Server 以外)

    • 更新日時

    • レコード件数

    • ビューの参照元情報(JDBC 以外)

  • カラム情報

    • カラム名

    • データタイプ

    • カラムの容量

    • カラムに対するコメント(SQL Server 以外)

    • カラムの制約情報

 

Amazon S3

  • バケット情報

    • バケット名

  • フォルダ/ファイル情報

    • ファイル名/フォルダ名

    • パス

    • サイズ

    • 更新日時

 

Azure Blob Storage

  • コンテナ情報

    • コンテナ名

  • フォルダ/ファイル情報

    • ファイル名/フォルダ名

    • URL

    • サイズ

    • 更新日時

 

Google Cloud Storage

  • バケット情報

    • バケット名

  • フォルダ/ファイル情報

    • ファイル名/フォルダ名

    • パス

    • サイズ

    • 更新日時

 

Google BigQuery

  • データセット情報

    • データセット名

    • データセットに対するコメント

  • テーブル/ビュー情報

    • テーブル名/ビュー名

    • テーブル/ビューに対するコメント

    • 更新日時

    • レコード件数

    • ビューの参照元情報

  • フィールド情報

    • フィールド名

    • データタイプ

    • フィールドの容量

    • フィールドに対するコメント

    • フィールドのモード

 

手動クロールの方法

任意のタイミングでクロールする場合、以下の手順を実施してください。

1. ヘッダーメニューから[接続先]をクリックします。

2. クロール対象の接続先にチェックマークを付けて、[クロール]をクリックします。

= 備考 =

クロールするデータの量によっては、データの取得に時間がかかる場合があります。

3. 接続先一覧画面のステータスの列に「Success」と表示されていることを確認してください。

= 備考 =

ログファイルを確認することでも、クロールの結果を確認可能です。ログファイルについては、セットアップマニュアルを参照してください。