logo_attunity_repli

Hadoop データ基盤へリアルタイム&シームレスにデータを統合

Attunityの製品はFortune 500の半数を含む2,000以上の企業で信頼されています

Attunity Composeとは?

『Attunity Compose for Data Lakes』は、『Attunity Replicate』と連携することで、DATA LAKE(Hadoop)/DWHに対するデータトランスフォーム機能を提供します。

Hadoopに対しては、従来困難であった様々なリレーショナル データベース(Oracle/SQL Server/Db2)の差分を容易にHadoopデータ基盤に反映させることが可能です。これによって、ソースのデータベースのデータとHadoop上のデータをニアリアルタイムで同期することが可能になります。

簡単なデータの構造化と変換

手作業でコーディングすることなく、ODS(Operational Data Stores)およびHDS(Historical Data Stores)用のHiveカタログにスキーマと構造を自動的に生成します。

Attunity Composeでは、直感的なガイドプロセスによりモデリング、実行、および更新のための設定操作が可能です。すべての必要な変換ロジックは自動的に生成され、データはパイプラインを流れてHadoopへプッシュダウンされます。

データ一貫性の確保

新しいACID MERGE操作を含むHiveの最新SQLを活用して、データの挿入、更新、削除を効率的に処理し、データの整合性を確保し、ユーザーの影響を回避します。

Hive ACID Mergeとは

Hiveでは、INSERT, UPDATE, DELETEステートメントをサポートしていますが、これらはレコードレベルのオペレーションのため、効率が良くありません。そこで、Hive ACID Merge(MERGEステートメント)を使うことが可能です。また、HiveのMERGEステートメントはANSIの標準SQLに準拠しています。

MERGEステートメントは、実データのテーブル(マージするターゲットテーブル)と、更新を格納するテーブル(マージするソーステーブル)を作成し、更新が発生した場合にはソーステーブルにその更新を溜めていきます(Attunity Replicate)。そしてMERGEステートメントによって、ターゲットテーブルとソーステーブルをマージし、ターゲットテーブルに更新を反映させることが可能となります。Attunity Compose for Data Lakesは、Hive ACID Mergeを実装することでデータ一貫性を確保したデータ連係を実現しています。

Attunity Compose コンソール

Attunity Composeは、 Attunity Replicate同様のユーザーフレンドリーなUIを提供することにより、直感的な構成またはレプリケーションタスクのモニタリングを可能にします。

ATTU_Compose_UI

Attunity Compose のアーキテクチャ

ATTU_Compose_architecture

Attunity Replicate / Attunity Compose for Data Lakesの特徴

Hadoop分析基盤へのトランザクションレプリケーション、低インパクト、低レイテンシー、整合性

Attunity Replicateは、CDC (Change Data Capture、変更データキャプチャ)ログベースのCDC技術を利用してソースのデータベース システム に加えられた変更のみをレプリケートしますが、 Attunity Compose for Data LakesをアドオンすることによりHadoopデータ分析基盤をターゲットとしてデータの一貫性は常に保持した状態で変更のみのレプリケーションをすることが可能です。 Attunity Compose for Data Lakesは、新たに実装されたHive ACID MERGE SQL機能を利用することにより、一貫性を持ったデータレプリケーションを実現しています。

モニタリングと制御

Attunity Composeには、メトリクス、ゲージをもつダッシュボードを使用して、レプリケーション サーバーとタスクのステータスを表示するためのモニタ機能が含まれています。ブラウザを使用して、どこからでもシステムの表示が可能。また、レプリケーションタスクの開始/停止/リセットなどの制御に加えて、データ変換をデータフローに組み込むことも可能です。

ハイパフォーマンス スループット、スピード、スケール

Attunity Replicateは、複数台のサーバー、マルチタスク、マルチスレッドを使用した大規模なデータベースシステムの複雑なレプリケーションにおいても、スケールアウトを実現しております。また、Attunity Replicateを分散しインストールすることで、複数のテーブルセットを含む多数のレプリケーションタスクを実行することが可能です。これら数千にも及ぶテーブルのレプリケーションは、高速なデータ抽出・データロードおよび”CDC(log-based Change Data Capture)を使ったリアルタイムの差分同期”によって実現しています。

Attunity Composeに関するお問い合わせ

製品に関するお問い合わせ

Attunity Composeに関するご質問、お見積り、資料請求をご希望のお客様は、下記リンクよりお気軽にお問い合わせください。弊社担当者よりご連絡させていただきます。

お問い合わせ

製品デモのリクエスト

Attunity ComposeのLive Demoをご希望の方は、下記リンクのフォームにご記入ください。弊社担当者よりご連絡させていただきます。

リクエストデモ