ホワイトペーパー紹介|データレイクのROIを高める
こんにちは!インサイトテクノロジーマーケティング本部です。
データレイクには、アナリティクスが行われる前の大量の構造化データだけでなく非構造化データも、データ形式の変換無しにそのままロー形式で保存できます。このため、データレイクは、現在、従来のデータウェアハウスに代わる魅力的な手段と見なされています。しかし、データ品質が期待外れであったり、データガバナンスやデータ即時性といった問題のため、多くの企業が、データレイクに対する投資から思ったとおりの収益を出せずに苦労しています。
今回ご紹介する「データレイクのROIを高める」のホワイトペーパーでは、このような問題に対処し、きれいなデータレイクがスワンプ化して、使いものにならなくなるのを防ぐ方法について説明しております。ぜひご覧ください。
データレイクの始まり
「データレイク」という言葉は、2008年、当時Pentaho社の最高技術責任者だった James Dixon氏が作ったとされています。Dixon氏は、既に定着していた 「データマート」という言葉と対比させることで、非構造化データを説明しようとしました。Dixon氏は水にたとえて、次のように考えました。喉が渇いた人がボトルをマート(販売店)から受け取ります。マートはボトルのケースをウェアハウス(倉庫)から受け取ります。ウェアハウスには、ソース(水源)、つまりレイク(湖)の水がボトルに入れられて保管されています。
様々な業界は、より柔軟でタイムリー、かつコスト効率に優れたデータ分析の手段を必死に探すようになったところ、データレイクが視野に入りました。データレイクは単一のエンタープライズデータストアで、(例外もありますが)通常はHadoopを使って構築されます。 データレイクには、次のようなデータが、事実上無制限に格納されます。
- リレーショナルデータベースの構造化データ(行と列)
- 半構造化データ(CSV、ログ、XML、JSON)
- 非構造化データ(メール、ドキュメント、PDF)
- バイナリデータ(画像、オーディオ、ビデオ)
データレイクには、ソースシステムのローデータのコピーのほか、レポート作成、ビジュアライゼーション、アナリティクス、機械学習などのタスクに使用される変換済みデータも保存できます。
データレイクの課題
本資料ではデータレイクを構築するのに直面するいくつかの課題を紹介しています。例えば「データ信頼度の低下」「市場および技術状況の変化」「データレイクストレージテクノロジーの選定」などが挙げられています。
これらの課題から見ると、ここまでのデータレイクの認識は、ただ複雑さを生み出し、予期せぬコストと混乱をもたらした、というものでしょう。「とりあえず保存して、後で価値を見出す」という心構えでは、企業はデータ価値フェーズに移行できません。ということで、データレイクプロジェクトは、十分な投資利益 (ROI) を生み出すこともできませんでした。難しすぎて導入できないだけでなく、専門分野に関する知識が必要で、展開に何か月も(場合によっては何年も)かかっていたこともあります。したがって、データレイクへの再考が必要になります。
データレイクの再考
データレイクの欠点に対処するにあたっては、データウェアハウスから30年以上にわたって学んできた教訓が役に立つと言われています。本ホワイトペーパーでは、以下のような対応方法が紹介されています。
- ビジネスに合わせて調整
- スキル不足に対応
- プロセスの日常業務化
- メタデータとカタログの活用
- データの検証と強化
より詳しい説明に知りたい方は、ぜひこちらから資料をダウンロードしてご一読ください。
Qlikデータレイクソリューション
Qlikデータレイクソリューションで提供されるいくつかの製品を紹介しております。
- Qlik Replicateは、主要なデータレイクソリューションにデータを効率よく提供する、シンプルで汎用的なリアルタイムデータ取り込みソリューションです。
- Qlik Compose for Data Lakesは、データパイプラインの作成、ロード、更新など、時間がかかる反復的な手動タスクを簡素化および自動化し、 データレイクROIを向上させます。
- Qlik Enterprise Managerは、企業全体のデータパイプラインの構成、実行、監視を支援する統合コマンドセンターです。
次のサンプルアーキテクチャは、データレイクパイプラインの各ステージで Qlikのソリューションがデータフローをどのように管理しているかを示しています。
また、本ソリューションを利用した顧客事例も紹介しております。如何にQlik for Data Lakes ソリューションを使って、データパイプラインを完全に自動化し、アナリティクス対応のデータセットを意思決定者に継続的に提供するのかをご興味がある方は、ぜひ下記ボタンより本資料をダウンロードして読んでみてください!