Qlik for Data Lakesはソースシステムとターゲットシステムからメタデータを自動的に収集します。作成されたメタデータはオープンであり、Apache Atlasなどの主要なメタデータリポジトリやQlik Data Catalystなどのデータカタログにアクセスすることができます。
これにより、パイプラインデータがより広範なデータランドスケープに対して、どのように適合しているかをよりよく理解することができます。
継続的なデータ更新を維持しつつ、データ取り込みとターゲットスキーマの作成を自動化するために、以下の機能があります。
Qlik Replicateに採用されている、独自のCDC(Change Data Capture)技術で、業界で最も幅広いソースとターゲットをサポートしており、オンプレミスやCloud、またはハイブリッド環境においてデータレイクにデータを取り込むことができます。
完全な履歴データ(HDS:Historical Data Store)は分析に特化したデータセットを導き出します。ソースシステムからデータの更新を受け取ると自動的に新しい行がHDSに追加されます。その際、新しいHDSレコードには自動的にタイムスタンプが付与されるため、トレンド分析などの時系列を重視した分析データマートを作成できます。
インストール可能なWindowsプラットフォーム | |
---|---|
|
|
Qlik Replicate™でサポートされているデータソースはすべて、Qlik Composeのデータソースとして使用できます。Qlik Replicate™のデータソースを使用する場合は、ランディングポイント上で検出を行う必要があります。
Hive Distribution | Version |
---|---|
HortonWorks | 3.1.x – Apache Sparkプロジェクトタイプの場合、HortonWorksクラスタはSparkメタデータストアをHiveメタデータストアに設定するように設定する必要があります。 2.6.x – フルサポート。 2.5.x – Apache Hive プロジェクトタイプでのみサポートされ、履歴データストア (ACID なし) を使用している場合のみサポートされます。 |
Amazon EMR | 5.15 – 5.23 |
Cloudera | 5.11 – Apache Hive プロジェクトタイプでのみサポートされ、履歴データストア (ACID なし) を使用している場合のみサポートされます。 6.1 – HiveとSparkでサポートされています。 |
Microsoft Azure HDInsight | 3.6 |
Google Dataproc | 1.2と1.3 はDebianのみ |
Google BigQuery | プロビジョニングタスクのみに対応 |
Databricks | 5.3 |