2017年、早くも１ヶ月が経ちました。
寒さも厳しく、凍えるような毎日が続いていますね。
私は最近、湯たんぽを布団に入れて眠るようにしています。
エアコンやストーブとはまた違った、体の芯から温もりがあるので、皆さんもぜひ試してみてください。
お風邪などひかれませんよう、体調には気を付けてお過ごしくださいね。
さて前回のHULFT小話では、データ分析前のデータ加工処理についてご紹介しました。
今回も引き続き、データ変換・加工についてのちょっとした小話をお届けしてまいります。

システム間でファイルの連携をする時に、必ずといって良いほど必要なのがファイルフォーマットの変換です。
基幹システムなどで使われるメインフレームでは多くの場合、固定長ファイルを扱うのが一般的です。

固定長ファイルは、レコード内のフィールドごとのデータの長さ（バイト数）が決まっていて、1件のレコードの長さも一定です。
そのため業務で利用するテキストファイルは全てのレコードを同じ長さにするよう、長さが足りない場合には空白文字などで埋める形をとります。
一方オープン系システムでは、レコードの長さが決まっていない可変長ファイルを扱うことが多く、レコード内のフィールドを区切り文字を用いて表現するCSV形式を利用することが数多くあります。

このようにメインフレームとオープン系システムが混在するマルチベンダ環境でのシステム間連携では、それぞれのシステムが扱うことのできるファイルフォーマットへの変換が必要となります。

さらに、マルチベンダ環境だとサーバごとに使われている文字コードも違いますよね。
メインフレームだと「IBM漢字」や「JEF」、オープン系だと「SJIS」や「UTF-8」など違う文字コードが使われているとシステム連携の際は、ファイルフォーマットの変換以外にも文字コードの変換についても考えなくてはいけませんね。

マルチベンダ環境での固定長⇒可変長（CSV）へのファイルフォーマットの変換は一見シンプルな変換に思えますが、プログラミングで実現しようとすると、

など考慮に入れるべき点がたくさんあります。
1レコードに何十項目もあるデータを読み込んで、条件にあった変換処理を作って、レコードが終わるまで繰り返す、そしてその中に文字コード変換を行う処理も入れておく。
さらに、イレギュラーデータがあることも踏まえて除外条件を考えたり・・・と、ちょっと手間がかかりそうですよね。
もっと言えば、変換をする人が変換しやすいような実行形式を考えておいた方がいいかな、なんて考え出すと結構大変ですよね。

マルチデータ変換ツールのDataMagicでは、それぞれのファイルのレイアウトを登録するだけで簡単にファイルフォーマットや文字コードを変換することができます。
ファイルの形式、各項目の情報（項目名や長さなど）、文字コードをGUIの画面から選択・入力するだけのシンプルな操作でとても簡単です。

CSVは Comma Separated Values の略で、Comma（カンマ）で Separated（区切った）Values（値）です。
ですが可変長ファイルは、カンマで区切ったファイルだけではありません。
セミナーにいらっしゃったお客様で、「TSVファイルに変換したいんだけど・・・」という方がいらっしゃいました。
TSVファイルとは Tab Sepatrated Values の略、つまりタブ区切りのファイルです。
DataMagicは、様々な区切り文字や囲み文字を選択することができるのでTSVやSSV（スペース区切り）のファイルへの変換も問題ありません。

他にもExcelやDBテーブルへの相互変換もできるので、業務でよく使用するExcelで管理しているデータを直接DBへ連携するなんてことも可能です。
Excelの機能を使えば、ファイルの保存形式を選択することで、フォーマット変換はできないこともありません。
ですが、文字コードの変換や前回のHULFT小話Vol.7でもご紹介したデータクレンジングなどの「データ加工」も同時にする場合、DataMagicのようなデータ変換ツールを使用すると、全て一度に変換できるのでとても効率がいいですよね。

このようなデータ変換ツールは実際に操作してみないと使いやすいかどうか分かりませんよね。
DataMagicを使用したファイルフォーマットの変換や文字コードの変換を実機を操作して体感できるセミナーを先月から開催しています。
簡単な操作で変換・加工処理を作成できるので、データ変換ツールを使うのは初めてだという方でもお気軽にご参加ください。