Apache Kafka を使用したリアルタイムのデータベースストリーミング

Apache Kafka データストリーミングプラットフォームを採用している企業は、リアルタイムでデータを統合、処理、分析することができます。こうした企業は、極めて短い待ち時間と高い拡張性を備えた分散型の Apache Kafka を使って、新しい高度なアナリティクスのユースケースに対応し、データからより多くの価値を引き出しています。

Kafka（多くの場合、基盤は Confluent Platform）を導入すれば、データレイクのストリーミングの取り込み、複数のビッグデータエンドポイントを使用する複雑なメッセージキュー、マイクロサービスデータの共有、機械学習の前処理が可能になります。しかし、そこには 1つ、優れたストリーミングアーキテクチャの鍵となる要素が欠けています。それが Qlik Replicate™ ソリューションです。

Qlik Replicateのことをご存知でしょうか。Qlik Replicate は実稼働データベースの更新をライブの変更データストリームに変換する、シンプルで汎用的なリアルタイムソリューションです。アーキテクトや DBA は、簡単な設定だけで、Apache Kafka をはじめ、Amazon Kinesis、Azure Event Hubs、Google Cloud Pub Sub といったその他のストリーミングシステムに対してあらゆる主要データベースを発行できる上、1 対多のシナリオ、自動データタイプマッピング、包括的なメタデータ統合を柔軟にサポートできます。

このホワイトペーパーでは、企業をデータストリーミングに向かわせる動機、アーキテクチャの主要コンポーネント、Qlik Replicate ソリューションが Apache Kafka のストリーミング環境で果たす役割について説明します。