外部データソースからデータマートへの取り込みを効率化したい

日本生命グループの一員として、主に投資運用業を手がけるニッセイアセットマネジメント株式会社。同社は業界最大規模のリサーチグループを擁し、幅広い分野のリサーチを行うだけでなく、グループの海外拠点ネットワークや海外運用会社との戦略的提携などを通じてグローバルな情報収集を展開しており、このリサーチ力が大きな特徴となっています。

ニッセイアセットマネジメントの社内では、アナリストやファンドマネージャの分析業務、運用報告資料の作成などにデータマートが活用されています。そのデータソースとしては、外部の情報ベンダー、シンクタンク、証券会社などから、例えば株式や債券の属性・時価情報などの情報ですが、それぞれのデータ形式や配信方法が異なるため、データマートへ取り込む際にはデータの変換やマージを行うためのプログラムが必要です。

これまでは、同社システム開発部システム開発室が、それぞれのソースに応じた個別のバッチプログラムを作成して対応していましたが、既存のプログラム手法では開発生産性を向上させることが難しい上に属人化しやすいという課題がありました。また、そのバッチプログラムには多様な環境が用いられていたため、処理を行うサーバが複数になっており、運用管理面でも負担が大きかったといいます。さらに、アナリストは分析精度向上を、ファンドマネージャは商品拡充などを求め、より多くのデータを収集していこうとしているため、今後もデータソースの増加が見込まれることから、バッチプログラム開発負担も増大する懸念がありました。

この課題を解決するため、開発生産性が高く、多様なデータソースを網羅できるデータ取り込みインフラの構築が求められていたのです。

DataSpiderでデータ取り込みインフラを構築

ニッセイアセットマネジメントは、このデータ取り込みインフラに、DataSpiderを採用することにしました。

「データ取り込みを行うツールとしては、数年前にも他の製品を検討したことがありましたが、3年ほど前にアシストから提案されDataSpiderの存在を知りました。これなら使えそうだという感触を得ており、いずれ導入したいと考えていました。そして、2007年末に予算を獲得できたため、構築に着手したのです」と、システム開発部システム開発室 室長の小森一隆氏は説明します。「2007年12月にトライアルを実施したところ、生産性の高さは予想以上でした。目で見た通りの動作で、違和感はありません。さっそく2008年1月より本格的に導入しています」（小森氏）

導入の際、同社では、DataSpiderを上手に活用すべく、開発ルールを決めて担当する全員がそれを徹底することにしました。開発の品質を安定させること、運用やメンテナンスの手続きを効率化することなどを目的としたもので、例えばプロジェクト名称やフォルダ構成など、数十項目に及んでいます。

「他の開発ツールでも同様のルールを決めていますが、特にDataSpiderの場合は、誰でも簡単に開発できてしまうので、このようなルールがないと各自で勝手に作ってしまい、システム管理の上で支障が出かねません。DataSpiderを扱う開発者が増える前にきちんと決めておく必要があったのです」と小森氏は言います。

非常に高い開発効率を実現し、システムの稼働も安定

データ取り込みインフラの構築後、開発は順調に進んでいます。当初、DataSpiderを扱う開発者は2名でしたが、8月には6名に増員され、活用範囲も広がっています。2008年11月の時点で、DataSpider を用いたプロジェクトは42件に達しているそうです。

システム開発部 システム開発室 課長補佐の相田秀久氏は、DataSpiderを次のように評価しています。

「最大のポイントは、開発ツールが視覚的で分かりやすいことです。Javaなどではシステム基盤となるような部分に手間がかかるのに対し、DataSpiderなら技術的な部分のほとんどが内包されているので、データ連携のロジックに集中して開発できます。例えば、以前の方法では1～2週間を要していたアップロード処理が、わずか2～3日でできるようになり、開発期間が1/5～1/3に短縮されました。今や、当社のシステム基盤の中で欠かせないものとなっています」

また、DataSpiderの視覚的な開発環境のおかげで、いったん作ったプログラムの保守性も高まりました。他のスタッフが作成したコードでも、画面上で容易に把握できるようになったのです。こうした開発性や保守性の向上により、DataSpiderの存在を意識していないエンドユーザーからも、開発の迅速さに驚かれるようになったそうです。なお、ニッセイアセットマネジメントでは、DataSpiderのために専用のサーバを用意して運用しています。これは、運用管理上の都合から、基本的に複数システムを混在させないようにしているためです。そのため、パフォーマンス上は全く問題なく、まだまだ余裕が感じられるといいます。

「データベース入出力のレスポンスは非常に早く、大量データを処理する際にも助かっています。また、本番環境での日常の運用も安定していますね。何か問題があっても、アシストにサンプルデータを用いて検証してもらうなどして解決しています。アシストは、再現性の低いトラブルがあったときなどにも粘り強く検証してくれているので、とても感謝しています」（相田氏）

開発効率の高さを生かし他の新たな用途にも活用を検討

現在、ニッセイアセットマネジメントでは、DataSpiderのさらなる活用へ向けた、いくつかの取り組みを進めています。例えば、頻度の高い処理を共通化する作業に着手しているそうです。「DataSpiderには、他プロジェクトのスクリプトをコールする機能があり、これを活用することで、開発効率のさらなる向上が図れると考えています。まずはDataSpiderのアイコンで用意されていないような文字列処理や演算処理などを作っているところです」（相田氏）

また、開発ルールの再整備も検討しています。ルールは頻繁に見直されており、徐々に項目が増えてきているのです。

「当初30～40項目だったのが、今では50～60項目にもなりました。しかし、多すぎると覚えきれなくなり、うっかりルール違反してしまうケースも生じてきます。当然、そういう場合は個別に修正して対応しますが、ルール違反を増やさぬよう、できるだけルールは少なく、シンプルに整理しておきたいと考えています」（相田氏）

そして、データ取り込みインフラ以外の、新たな用途に活用できないか、検討が進められています。「すでにDataSpiderを使っている開発者からは、『今まで使った中で、最も便利で面白いツール』との評価もあります。それを聞いて、他のスタッフからも使ってみたいとの声が出ています。今のところ、DataSpiderは、システム開発部の中でも、主に分析業務向けシステムを担当するメンバーが使っているだけですが、他のシステムでも使っていければと考えています」（小森氏）