Qlik Compose™ for Data Lakesの主な機能

一元管理されたオープンなメタデータ

Qlik for Data Lakesはソースシステムとターゲットシステムからメタデータを自動的に収集します。作成されたメタデータはオープンであり、Apache Atlasなどの主要なメタデータリポジトリやQlik Data Catalystなどのデータカタログにアクセスすることができます。
これにより、パイプラインデータがより広範なデータランドスケープに対して、どのように適合しているかをよりよく理解することができます。

データパイプラインの自動化

継続的なデータ更新を維持しつつ、データ取り込みとターゲットスキーマの作成を自動化するために、以下の機能があります。

データパイプラインデザイナー

Qlik Composeのポイント＆クリックデザイナーは、自動的に変換ロジックを生成し、タスクエンジンにプッシュします。

HiveまたはSparkタスクエンジン

HiveまたはSparkエンジン上で、end-to-endの単一プロセスとして変換タスクを実行します。

完全な変更データヒストリー

複数の変更ストリームを1つのヒストリーデータストアに標準化および結合して、後工程の処理に対応させます。

データセットのプロビジョニング

アナリストやさらに後工程の処理のために、分析に対応したデータサブセットを簡単に作成できます。

複数のエクスポート形式

ORC、AVRO、Parquetを含む複数の形式でデータセットをエクスポートします。

ソースとターゲットを幅広くサポート

Qlik Replicateに採用されている、独自のCDC（Change Data Capture）技術で、業界で最も幅広いソースとターゲットをサポートしており、オンプレミスやCloud、またはハイブリッド環境においてデータレイクにデータを取り込むことができます。

分析のための完全な履歴データ

完全な履歴データ（HDS：Historical Data Store）は分析に特化したデータセットを導き出します。ソースシステムからデータの更新を受け取ると自動的に新しい行がHDSに追加されます。その際、新しいHDSレコードには自動的にタイムスタンプが付与されるため、トレンド分析などの時系列を重視した分析データマートを作成できます。

対応環境

サポートされているプラットフォームとデータベースのバージョン

インストール可能なWindowsプラットフォーム
Windows Server 2012（64-bit） Windows Server 2012 R2（64-bit） Windows Server 2016（64-bit） Windows Server 2019（64-bit）	Internet Explorer 11 Chrome（最新バージョン） Firefox（最新バージョン）

サポートされているデータソース

Qlik Replicate™でサポートされているデータソースはすべて、Qlik Composeのデータソースとして使用できます。Qlik Replicate™のデータソースを使用する場合は、ランディングポイント上で検出を行う必要があります。

サポートされているHiveディストリビューション

Hive Distribution	Version
HortonWorks	3.1.x – Apache Sparkプロジェクトタイプの場合、HortonWorksクラスタはSparkメタデータストアをHiveメタデータストアに設定するように設定する必要があります。 2.6.x – フルサポート。 2.5.x – Apache Hive プロジェクトタイプでのみサポートされ、履歴データストア (ACID なし) を使用している場合のみサポートされます。
Amazon EMR	5.15 – 5.23
Cloudera	5.11 – Apache Hive プロジェクトタイプでのみサポートされ、履歴データストア (ACID なし) を使用している場合のみサポートされます。 6.1 – HiveとSparkでサポートされています。
Microsoft Azure HDInsight	3.6
Google Dataproc	1.2と1.3 はDebianのみ
Google BigQuery	プロビジョニングタスクのみに対応
Databricks	5.3