Insight Technology

Qlik Compose™ for Data Lakes

取り込みデータの管理と自動化でデータレイクの導入から成果を生み出すまでの時間を短縮

Qlik Compose™ for Data Lakesの主な機能

一元管理されたオープンなメタデータ

Qlik for Data Lakesはソースシステムとターゲットシステムからメタデータを自動的に収集します。作成されたメタデータはオープンであり、Apache Atlasなどの主要なメタデータリポジトリやQlik Data Catalystなどのデータカタログにアクセスすることができます。
これにより、パイプラインデータがより広範なデータランドスケープに対して、どのように適合しているかをよりよく理解することができます。

一元管理されたオープンなメタデータ

データパイプラインの自動化

継続的なデータ更新を維持しつつ、データ取り込みとターゲットスキーマの作成を自動化するために、以下の機能があります。

データパイプラインデザイナー
Qlik Composeのポイント&クリックデザイナーは、自動的に変換ロジックを生成し、タスクエンジンにプッシュします。
HiveまたはSparkタスクエンジン
HiveまたはSparkエンジン上で、end-to-endの単一プロセスとして変換タスクを実行します。
完全な変更データヒストリー
複数の変更ストリームを1つのヒストリーデータストアに標準化および結合して、後工程の処理に対応させます。
データセットのプロビジョニング
アナリストやさらに後工程の処理のために、分析に対応したデータサブセットを簡単に作成できます。
複数のエクスポート形式
ORC、AVRO、Parquetを含む複数の形式でデータセットをエクスポートします。
データパイプラインの自動化

ソースとターゲットを幅広くサポート

Qlik Replicateに採用されている、独自のCDC(Change Data Capture)技術で、業界で最も幅広いソースとターゲットをサポートしており、オンプレミスやCloud、またはハイブリッド環境においてデータレイクにデータを取り込むことができます。

分析のための完全な履歴データ

完全な履歴データ(HDS:Historical Data Store)は分析に特化したデータセットを導き出します。ソースシステムからデータの更新を受け取ると自動的に新しい行がHDSに追加されます。その際、新しいHDSレコードには自動的にタイムスタンプが付与されるため、トレンド分析などの時系列を重視した分析データマートを作成できます。

対応環境

サポートされているプラットフォームとデータベースのバージョン

インストール可能なWindowsプラットフォーム
  • Windows Server 2012(64-bit)
  • Windows Server 2012 R2(64-bit)
  • Windows Server 2016(64-bit)
  • Windows Server 2019(64-bit)
  • Internet Explorer 11
  • Chrome(最新バージョン)
  • Firefox(最新バージョン)

サポートされているデータソース

Qlik Replicate™でサポートされているデータソースはすべて、Qlik Composeのデータソースとして使用できます。Qlik Replicate™のデータソースを使用する場合は、ランディングポイント上で検出を行う必要があります。

サポートされているHiveディストリビューション

Hive Distribution Version
HortonWorks 3.1.x – Apache Sparkプロジェクトタイプの場合、HortonWorksクラスタはSparkメタデータストアをHiveメタデータストアに設定するように設定する必要があります。
2.6.x – フルサポート。
2.5.x – Apache Hive プロジェクトタイプでのみサポートされ、履歴データストア (ACID なし) を使用している場合のみサポートされます。
Amazon EMR 5.15 – 5.23
Cloudera 5.11 – Apache Hive プロジェクトタイプでのみサポートされ、履歴データストア (ACID なし) を使用している場合のみサポートされます。
6.1 – HiveとSparkでサポートされています。
Microsoft Azure HDInsight 3.6
Google Dataproc 1.2と1.3 はDebianのみ
Google BigQuery プロビジョニングタスクのみに対応
Databricks 5.3
お勧め情報
問題解決
昨今のあまりにも激しく素早いビジネス変化の時代では、データ活用に取り組むことは、...
データベース仮想化
データ統合
ホワイトペーパー
データレイクは IT 企業にとってさまざまなデータを管理する効率的かつスケーラブ...
データ統合
ページトップへ