サービスの運用

サービスの運用の前に

Windowsサービスの登録

• Windowsのログオフ時にDataSpiderServerが停止しない
• 市販のクラスタリングツールや運用監視ツールとの連携がしやすい

セキュリティ

ログレベルの決定

サーバ移行

• サーバ移行の流れ
• 移行できる設定

サーバ移行の流れ

1. 移行元のDataSpiderServerから設定をエクスポートする
2. テスト環境または本番環境に、開発環境と同じバージョンのDataSpiderServerをインストールする
3. 移行先のDataSpiderServerに必要な設定を行う
   以下の設定はサーバ移行対象外であるため、必要に応じて移行先のDataSpiderServerに用意しておいてください。
   • ディレクトリ構造
   • FTPサーバ
4. 移行先のDataSpiderServerでエクスポートしたZIPファイルをインポートする

移行できる設定

• サービス
• グローバルリソース
• 環境変数
• トリガー
• 休日設定カレンダー
• プロジェクト
• アプリケーションログ出力設定

運用の監視

ログの監視

プロセスの監視

タスクマネージャ

CLI Console

障害発生時の対応

マイログ

メッセージコード

ログファイル

メンテナンス

ログのロールアップ

日々運用していくと、ログファイルが肥大化してしまうため、ある一定の基準で削除を行う機能が用意されています。この機能をローテーションと呼びます。
日付ディレクトリはデフォルトで本日を除く10日分が保持され、それより過去分は自動で削除されます。
サーバログやStudioログは一定のサイズを超えた場合に新規ログファイルが生成され、古いファイルはデフォルトで5つ保持されます。
運用の指針やディスク容量に合わせて、ローテーションの設定を行うことをお奨めします。
ローテーションの変更については、「

リポジトリDBのクリーンアップ

一時ディレクトリのクリーンアップ

ログガイド

ログファイルの種類

カテゴリ	名前	説明	ファイルパス	備考
サーバ	サーバログ	DataSpiderServerのログです。カーネルや各マネージャのログが出力されます。	$DATASPIDER_HOME/server/logs/server.log	dslog.propertiesで、出力される内容や出力先、ローテーションなどの設定を変更することができます。
	サーバ標準エラー出力	DataSpiderServerプロセスの標準エラー出力をリダイレクトします。	$DATASPIDER_HOME/server/logs/server.error.log	DataSpiderServer.laxで、出力先を変更することができます。 DataSpiderServerの初回起動時に新規に作成され、以降同一ファイルにログ出力されます。 ログのロールアップは行われません。
	execログ	スクリプトの開始/終了時間や成功/失敗など、スクリプト実行のサマリーが出力されます。	$DATASPIDER_HOME/server/logs/<日付ディレクトリ(yyyyMMdd)>/exec.log	日付ディレクトリのローテーションの設定については、「DataSpiderログ設定」を参照してください。 dslog.propertiesで、出力先の設定を変更することができます。
	XMLログ	スクリプト実行時のコンポーネントのログが出力されます。 実行ツールのログレベルによって、出力される内容が異なります。	$DATASPIDER_HOME/server/logs/<日付ディレクトリ(yyyyMMdd)>/execution/<実行ID>.xml
	Launchログ	外部アプリケーション起動処理のログです。起動時間や起動コマンドなどの情報が出力されます。	$DATASPIDER_HOME/server/logs/<日付ディレクトリ(yyyyMMdd)>/launch.log
	Launchプロセスログ	外部アプリケーション起動処理で起動した外部アプリケーションの標準出力、標準エラー出力が出力されます。	$DATASPIDER_HOME/server/logs/<日付ディレクトリ(yyyyMMdd)>/launch_process.log
	Server CLI Consoleログ	Server CLI Consoleのログです。コマンド履歴などの情報が出力されます。	$DATASPIDER_HOME/server/logs/cli.log	dslog.propertiesで、出力される内容や出力先、ローテーションなどの設定を変更することができます。 $DATASPIDER_HOME/server/bin/Shutdownを実行した場合、shutdownコマンドの実行履歴が出力されます。
	アクセスログ	クライアントからDataSpiderServerにアクセスした処理のログが出力されます。	$DATASPIDER_HOME/server/logs/access.log	dslog.propertiesで、出力の設定を変更することができます。
クライアント	Studioログ	DataSpider Studioのログです。	$DATASPIDER_HOME/client/logs/studio.log	dslog.propertiesで、出力される内容や出力先、ローテーションなどの設定を変更することができます。
	Client CLI Consoleログ	Client CLI Consoleのログです。コマンド履歴などの情報が出力されます。	$DATASPIDER_HOME/client/logs/cli.log	dslog.propertiesで、出力される内容や出力先、ローテーションなどの設定を変更することができます。
	Studio標準出力	DataSpider Studioプロセスの標準出力をリダイレクトしています。	$DATASPIDER_HOME/client/logs/client.log	DataSpiderStudio.laxで出力先を変更することができます。 DataSpider Studioの初回起動時に新規に作成され、以降同一ファイルにログ出力されます。 ログのロールアップは行われません。
	Studio標準エラー出力	DataSpider Studioプロセスの標準エラー出力をリダイレクトしています。	$DATASPIDER_HOME/client/logs/client.error.log

サーバログ

• モジュールやアダプタのロードに関するログ
• リポジトリDBに関するログ
• トリガーに関するログ
• コンポーネントプールに関するログ
• Webコンテナに関するログ
• クライアントアクセスに関するログ
• FTPサーバに関するログ

出力例

10/09 12:00:55|INFO|ds.boot|モジュール[SystemModule Container]のサービスを開始しました。
10/09 12:00:55|INFO|ds.boot|モジュール[ScriptRunner Container]のサービスを開始しています。
10/09 12:00:55|INFO|ds.boot|モジュール[DataProcessingComponent Manager]のサービスを開始しています。
10/09 12:00:55|INFO|ds.boot|モジュール[DataProcessingComponent Manager]のサービスを開始しました。
10/09 12:00:55|INFO|ds.boot|モジュール[ScriptRunner Container]のサービスを開始しました。
10/09 12:00:55|INFO|ds.boot|システムのサービスを開始しました。
10/09 12:00:55|NOTICE|ds.boot|DataSpider Serverを正常に起動しました。
10/09 12:00:55|INFO|ds.boot|*****************************************************************
10/09 12:01:23|INFO|ds.kernel.mgr.callback|START|CALLBACK_THREAD|CLIENT=qm0000rg4dl1i0so2j7b72t8hb0l
10/09 12:01:30|FINFO|ds.kernel.login|SUCCEEDED|LOGIN|USER=root|SESSION_ID=lli947bl3u22oe1cu2ejet71md8lu4tf
10/09 12:03:45|FINFO|ds.kernel.mgr.dpc.pool|GC_START
10/09 12:03:45|FINFO|ds.kernel.mgr.dpc.pool|GC_END

サーバ標準エラー出力

execログ

• 日時
• 成功/失敗(スクリプト実行終了時のみ)
• 実行ID
• 実行ユーザ(スクリプト実行開始時のみ)
• 実行プロジェクト・スクリプト・種別(スクリプト実行開始時のみ)
• 実行時間(スクリプト実行終了時のみ)
• 終了ステータス(スクリプト実行終了時のみ)

出力例

|2007/10/10 13:43:19|-|ID=j20000dg6il1i0go0c5iionihb21|OWNER=root|PROJECT=null|SCRIPT=スクリプト|TYPE=default
|2007/10/10 13:43:19|0|ID=j20000dg6il1i0go0c5iionihb21|TOTAL=1969|EXIT_STATUS=0
|2007/10/10 13:48:04|-|ID=be0000dg6il1i0go0c5rb722hb21|OWNER=root|PROJECT=null|SCRIPT=スクリプト|TYPE=default
|2007/10/10 13:48:05|1|ID=be0000dg6il1i0go0c5rb722hb21|TOTAL=547|EXIT_STATUS=-10101

フォーマット例

|日時|終了ステータス|実行ID|プロジェクトオーナー|プロジェクト名|スクリプト名|種別名
|日時|終了ステータス|実行ID|実行時間|終了ステータス

XMLログ

ダンプファイル

出力例:正常終了時

<?xml version="1.0" encoding="UTF-8" ?>
<exec>
  <executionStart time="1192189123891" production-version="2.4.0" />
  <scriptStart time="1192189124094" id="so0000fg10l1i0co28lhc5gaharl" version="2" name="スクリプト" project="root@プロジェクト" type="default" enableTypeSwitch="false" repository="/home/root/projects/プロジェクト" supportsLargeData="false" psp="false" />
  <start time="1192189124110" id="o20000fg3pl1i0ko50lkhvfghb4e" name="mapping" />
  <end time="1192189124251" id="o20000fg3pl1i0ko50lkhvfghb4e" />
  <scriptEnd time="1192189124251" status="0" />
  <executionEnd time="1192189124266" status="0" />
</exec>

出力例:異常終了時

<?xml version="1.0" encoding="UTF-8" ?>
<exec>
  <executionStart time="1262591044666" production-version="2.4.0" />
  <scriptStart time="1262591044701" id="va0000bg70l1ie6moi7s2evoib8c" version="1" name="スクリプト" project="root@プロジェクト" type="default" enableTypeSwitch="false" repository="/home/root/projects/プロジェクト" supportsLargeData="true" psp="false" />
  <start time="1262591044708" id="si0000jg20l1ifemqt2klig8ibu2" name="csv_read" />
  <end time="1262591044759" id="si0000jg20l1ifemqt2klig8ibu2">
    <failure>
      <code><![CDATA[SCRIPT0003E]]></code>
      <type><![CDATA[com.appresso.ds.script.runtime.ComponentFailedException]]></type>
      <message><![CDATA[[csv_read(ファイル/CSV/CSVファイル読み取り)]の処理に失敗しました。原因:[com.appresso.ds.common.dp.InvalidPropertyConfigurationException: ファイルパスが指定されていません。]]]></message>
      <detail><![CDATA[com.appresso.ds.script.runtime.ComponentFailedException: [csv_read(ファイル/CSV/CSVファイル読み取り)]の処理に失敗しました。原因:[com.appresso.ds.common.dp.InvalidPropertyConfigurationException: ファイルパスが指定されていません。]
	... (省略)
]]></detail>
    </failure>
  </end>
  <scriptEnd time="1262591044768" status="-10101" />
  <executionEnd time="1262591044771" status="-10101">
    <failure>
      <code><![CDATA[SCRIPT0003E]]></code>
      <type><![CDATA[com.appresso.ds.script.runtime.ComponentFailedException]]></type>
      <message><![CDATA[[csv_read(ファイル/CSV/CSVファイル読み取り)]の処理に失敗しました。原因:[com.appresso.ds.common.dp.InvalidPropertyConfigurationException: ファイルパスが指定されていません。]]]></message>
      <detail><![CDATA[com.appresso.ds.script.runtime.ComponentFailedException: [csv_read(ファイル/CSV/CSVファイル読み取り)]の処理に失敗しました。原因:[com.appresso.ds.common.dp.InvalidPropertyConfigurationException: ファイルパスが指定されていません。]
	... (省略)
]]></detail>
    </failure>
  </executionEnd>
</exec>

テキスト形式でダウンロードしたログ

出力例:正常終了時

06/20 19:34:39.760|EXEC_START  |
06/20 19:34:39.762|SCRIPT_START|SCRIPT=スクリプト, PROJECT=root@プロジェクト, REPOSITORY=/home/root/projects/プロジェクト, VERSION=2
06/20 19:34:39.763|START       |NAME=mapping 
06/20 19:34:39.763|END         |
06/20 19:34:39.763|SCRIPT_END  |EXIT_STATUS=0
06/20 19:34:39.763|EXEC_END    |EXIT_STATUS=0

出力例:異常終了時

06/20 19:37:14.607|EXEC_START  |
06/20 19:37:14.609|SCRIPT_START|SCRIPT=スクリプト, PROJECT=root@プロジェクト, REPOSITORY=/home/root/projects/プロジェクト, VERSION=0
06/20 19:37:14.609|START       |NAME=csv_read [csv_adapter/get_data]
06/20 19:37:14.671|END         |
com.appresso.ds.script.runtime.ComponentFailedException: [csv_read(ファイル/CSV/CSVファイル読み取り)]の処理に失敗しました。原因:[com.appresso.ds.common.dp.InvalidPropertyConfigurationException: ファイルパスが指定されていません。]
	... (省略)
06/20 19:37:14.673|SCRIPT_END  |EXIT_STATUS=-10101
06/20 19:37:14.674|EXEC_END    |EXIT_STATUS=-10101
com.appresso.ds.script.runtime.ComponentFailedException: [csv_read(ファイル/CSV/CSVファイル読み取り)]の処理に失敗しました。原因:[com.appresso.ds.common.dp.InvalidPropertyConfigurationException: ファイルパスが指定されていません。]
	... (省略)

Launchログ

• 起動時間
• 実行ID
• コマンド名
• 終了ステータス

出力例

18:07:12|do0000rg7nl1i108hdf2ecash4qn|INFO|EXEC|COMMAND=/C:/test.bat
18:07:12|do0000rg7nl1i108hdf2ecash4qn|INFO|STARTED
18:07:12|do0000rg7nl1i108hdf2ecash4qn|DEBUG|PROCESS_MONITOR|STARTED
18:07:12|do0000rg7nl1i108hdf2ecash4qn|DEBUG|PROCESS_MONITOR|WAIT_FOR
18:07:12|do0000rg7nl1i108hdf2ecash4qn|DEBUG|STARTED|STREAM=java.io.BufferedInputStream@1f4ff23
18:07:12|do0000rg7nl1i108hdf2ecash4qn|DEBUG|STARTED|STREAM=java.io.FileInputStream@19a8c41
18:07:12|do0000rg7nl1i108hdf2ecash4qn|DEBUG|STDERR_MONITOR|ENDED|TOTAL=0
18:07:12|do0000rg7nl1i108hdf2ecash4qn|WARN|ENDED|EXIT_VALUE=0
18:07:12|do0000rg7nl1i108hdf2ecash4qn|DEBUG|STDOUT_MONITOR|ENDED|TOTAL=87

Launchプロセスログ

出力例

--------------------
18:07:12|do0000rg7nl1i108hdf2ecash4qn|INFO

C:\Program Files\DataSpiderServista\server>echo test output
test output

Server CLI Consoleログ

• コマンド開始時間
• コマンド終了時間
• 実行ユーザ名
• 実行したコマンド

出力例

10/14 22:58:00|INFO|ds.console.cli|USER=root|START help
10/14 22:58:00|INFO|ds.console.cli|USER=root|END help
10/14 22:58:11|INFO|ds.console.cli|USER=root|START pwd
10/14 22:58:11|INFO|ds.console.cli|USER=root|END pwd

フォーマット例

日時|ログレベル|モジュール名|ユーザ名|実行コマンド

アクセスログ

対象の処理

• DataSpiderServerへのログイン/ログアウト
• DataSpiderServer側に保存される設定の作成、変更、削除
• DataSpiderファイルシステム上でのファイルの読み込み、書き込み、削除
• DataSpiderファイルシステム上でのディレクトリの作成、削除
• DataSpiderServerの何らかの状態を変更する以下のような処理
  例:
  • [一時ディレクトリ削除]
  • [プロセスの終了]
  • [プールのリセット]

出力内容

• 日時
• ユーザ名
• クライアントマシンのIPアドレス
• アクセスしたツール名
• ターゲット名(処理の対象を表す文字列)
• オペレーション名(処理を表す文字列)
• メッセージ
  メッセージが複数存在する場合、カンマ(,)区切りで出力します。

出力例

03/27 21:44:32|root|192.168.0.1|Studio|SESSION|LOGOUT|jqlbjq2tp3034944s5ni38au52efkjun
03/27 21:44:37|root|192.168.0.1|Studio|SESSION|LOGIN|ipgm59kk1s3cskorubn5h675dmnl004m
03/27 21:44:48|root|192.168.0.1|Studio|PROJECT|DELETE|/home/root/projects/プロジェクト
03/27 21:44:56|root|192.168.0.1|Studio|PROJECT|CREATE|/home/root/projects/プロジェクト
03/27 21:44:56|root|192.168.0.1|Studio|PROJECT_PERMISSION|UPDATE|/home/root/projects/プロジェクト
03/27 21:45:05|root|192.168.0.1|Studio|PROJECT|UPDATE|/home/root/projects/プロジェクト,i80000bg4hl1id68g51039ocjcl1,0

フォーマット例

|日時|ユーザ名|クライアントマシンのIPアドレス|アクセスしたツール名|ターゲット名|オペレーション名|
|日時|ユーザ名|クライアントマシンのIPアドレス|アクセスしたツール名|ターゲット名|オペレーション名|メッセージ
|日時|ユーザ名|クライアントマシンのIPアドレス|アクセスしたツール名|ターゲット名|オペレーション名|メッセージ1,メッセージ2,メッセージ3

日付ディレクトリ

• execログ
• Launchログ
• Launchプロセスログ
• XMLログ

作成/圧縮/削除のタイミング

Studioログ

出力例

10/10 09:55:22|INFO|ds.boot|システムのサービスを開始しています。
10/10 09:55:22|INFO|ds.boot|システムのサービスを開始しました。
10/10 09:55:22|NOTICE|ds.boot|DataSpider Studioを正常に起動しました。
10/10 09:55:22|INFO|ds.boot|*****************************************************************

Studio標準出力

出力例

--- |INFO|システムのサービスを開始しています。
--- |INFO|システムのサービスを開始しました。
--- |NOTICE|DataSpider Studioを正常に起動しました。
--- |INFO|*****************************************************************

Client CLI Consoleログ

• コマンド開始時間
• コマンド終了時間
• 実行ユーザ名
• 実行したコマンド

出力例

10/14 22:58:00|INFO|ds.console.cli|USER=root|START help
10/14 22:58:00|INFO|ds.console.cli|USER=root|END help
10/14 22:58:11|INFO|ds.console.cli|USER=root|START pwd
10/14 22:58:11|INFO|ds.console.cli|USER=root|END pwd

フォーマット例

日時|ログレベル|モジュール名|ユーザ名|実行コマンド

Studio標準エラー出力