サイロ化から脱却！データ連携の検討ステップと最新トレンド

＜執筆者＞　吉富 清美　Yoshidomi Kiyomi

DX推進技術本部 技術統括2部 DI技術部

前職でJavaアプリケーションのプログラマーを経験し、2005年にアシストへ入社。
アシスト入社後は、BIやデータ連携製品のプリセールスからポストセールスまでを担当している。
最近は、息子たちが親離れしていくことに少し寂しさを感じながらも、残された子育ての時間を満喫中。

データ連携は、ビジネスの効率化やデータを利用した意思決定を実現するために不可欠なプロセスです。
しかし、多くの企業ではシステム間のデータがサイロ化しており、その壁を乗り越えることが大きな課題となっています。

IT分野における「サイロ化」とは、 各システムが独立してデータを保持し、他のシステムと情報を共有しない状態 を指します。
このような状態では、データの効率的な活用が難しくなります。

サイロ化されたデータを相互につないだり、一元的に管理したりすれば、業務の効率化や意思決定のスピードアップを実現することが可能です。
そこで今回は、サイロ化から脱却するためのデータ連携の検討ステップやトレンドについて、弊社の見解を皆様にお伝えします。

データ連携を成功させるためには、以下のステップを踏むことが重要です。
正しいステップを踏むことで、最適なデータ連携手法やツールを選択することができるでしょう。

まずは、システムの新規構築や刷新時に、データ連携の重要性を認識します。
そして、新システムの構築と並行してデータ連携手法の情報収集を行い、知見を高め、早期にデータ連携手法の検討を始めることが大切です。

次に、処理の目的や連携する対象システムの用途などから、データ連携の要件を整理します。
何のためにデータ処理が必要なのか、どこから、どれくらいのデータ量を、どのタイミングで、どこに連携するのか？などを確認します。

要件が整理できたら、最適な手法を検討します。
この時、システムの目的ごとに、 SoR（System of Record）、SoE（System of Engagement）、SoI（System of Insight） の3つに分けて考えると良いでしょう。

ここでは、2015年に調査会社であるガートナー社が提唱した「バイモーダルIT」の視点で考えてみます。
バイモーダルITとは、ITシステムを
---------------------------------------------------------
・信頼性・安定性を重視する「モード1：守りのIT」
・俊敏性・柔軟性を重視する「モード2：攻めのIT」
---------------------------------------------------------
の2つに分ける考え方です。

SoR は、企業の事業活動そのものに関わるシステムであり処理の重要性が高いため、安定性を重視した「モード1：守りのIT」 となります。
確実なデータ連携の実装が必要となるため、ウォーターフォール開発が向いています。

SoE と SoI は、競争力強化や新たなビジネス価値を創出するシステムのため、革新的な「モード2：攻めのIT」 となります。
柔軟かつスピーディな実装が必要となるため、アジャイル開発が向いています。

さらに、対象システムによって、よく使われるデータ連携手法も異なってきますので、順番に見ていきたいと思います。

データ連携には様々な手法があります。
対象システムや特徴によって3つのパターンに分類してみました。

繰り返しになりますが、SoRは企業の事業活動そのものに関わるシステムであるため、信頼性や可用性、安定性が重視されます。
また、システムへの負荷を考慮して「ファイル連携」をすることもあります。

データ連携手法としては、従来からあるバッチ主体の「ETL（Extract／Transform／Load）」や 「MFT（Managed File Transfer）」を利用することが多いです。

SoR／SoE間では、様々なシステムが関わってくるため、従来のファイルやRDB、クラウドサービスなど、様々なデータソースとの接続を容易に実現する手法が求められます。
連携処理数も多数となるため、より開発・運用負荷が低い手法を選択する傾向にあります。

データ連携手法としては、様々なシステム同士を接続する「EAI（Enterprise Application Integration）」や、各システムをデータハブを介して管理する「データハブ」を利用することが多いです。

SoIへのデータ連携は、ETLが主流でした。
しかし、連携先のクラウド化に伴い、データソースをリアルタイムかつ低負荷で連携できる「レプリケーション」や、メダリオンアーキテクチャ※ を取り入れた「ELT（Extract／Load／Transform）」という新しい手法も登場してきています。
また、データソースから都度最新データを取得する必要があるなど、物理的なデータ統合が非効率な場合には、物理統合を行わない「データ仮想化」という選択肢もあります。

※ メダリオンアーキテクチャとは
　 主にデータレイクハウスやモダンなデータウェアハウス内で、データを論理的に整理するために使用する設計パターン。
　 「生データ（Bronze）」「クレンジング済みのデータ（Silver）」「そのまま分析に使えるデータマート的なデータ（Gold）」の3層で捉える。

このような様々なデータ連携手法を理解し、自社の要件に合ったものを選択することが重要です。

では、実際に他社でどのようなデータ連携手法を採用しているのかを見てみましょう。

某製造業のお客様は、手法やツールを適材適所で採用されています。
サイロ化した各システムのデータ収集には、 多様な接続先に連携可能なEAIツール「 DataSpider Servista 」 を、データレイク上でのクレンジングや分析用データの作成には、 大容量データの加工処理に長けているETLツール「 Precisely Connect 」 を利用されています。

海外の某製造業のお客様は、全世界で運用している37のSAPから生データを2分おきにSnowflakeへ統合し、分析に活用されています。
ELTツール「 Qlik Cloud Data Integration（QCDI） 」 を使ってSAPなどのデータを収集、Snowflakeに格納し、加工をしています。
データは8,000万件にもなりますが、Snowflakeのパワーを使って数分でのデータ連携処理を実現しています。

データ連携の最適化は、DXを推進する上で欠かせない要素です。
本コラムを通じて、データ連携の重要性を理解し、実際にデータ連携に取り組まれる際に参考にしていただければ幸いです。
データ連携に関するお悩みがあれば、ぜひお気軽にお問い合わせください 。