お問い合わせ

DMExpress

DMExpressは高速データ処理を実現するGUIベースのETL製品です。



Automated Optimization

DMExpressは様々な最適化を行いますが、代表的な最適化として下記があります。

データ処理の最適化

ソートなどのデータ処理は自動的に最適化されます。
DMExpressは、CPU、メモリ、DiskIOの状況をリアルタイムに自動把握し、各リソースを最も効率的に利用します。

ソートなどのデータ処理をどのように実現するかによって、パフォーマンスに大きく変化します。
例えば、最適なソート処理のためには下記のような点を考慮する必要があります。
・対象件数をいくつかに分割し、それぞれをソートし、その後マージする。
・ワーキングスペースとして、メモリやディスクをバランスよく有効活用する。
DMExpressでは、このデータ処理を、最適の方法で実現します。これを自動チューニングと呼んでいます。
データ処理中においても逐次状況をモニタリングし、常に最適な方法を見つけ出し、自動チューニングされます。
そしてユーザーはそれらの最適化を全く気にする必要はなく、ビジネスロジックの実装だけに注力できます。

シンクソートは、この最適化アルゴリズムに関連する特許を多数保有しています。
この最適化アルゴリズムは、全世界のメインフレームの50%以上で利用されています。

データベースIOの最適化

一般に、データベースIOには、ダイレクト処理(物理ディスクに直接アクセス)とSQLによる通常処理があります。
DMExpressは状況を自動的に把握し、可能であればダイレクト処理を行い、そうでなければSQLによる通常処理を行います。
また、SQL処理する場合でも、必要に応じてパラレルアクセスで処理をしようとします。
DMExpressは常に最適な方法を見つけ出そうとします。

Intelligent Execution

DMExpressのGUIで開発したアプリケーションは、Windows、Linux、Hadoopなど各環境で実行することができます。
また、各状況(データ量など)に応じて分散処理やメモリ処理など最適な方法を自動決定した上で実行されます。

Others

スクリプト言語 

GUIだけでなく、DTLというスクリプト言語での開発ができます。
同じ様なアプリケーションを大量に作成したい場合などは、スクリプト言語による開発が便利です。

リポジトリ連携

DMExpress で作成したアプリケーションは、SVNやGitといったリポジトリ管理ツールでチーム内で共有管理することができます。

ジョブ管理ツール連携

作成したアプリケーションはOSコマンドから呼び出すことができるので、JP1やSystemWalkerとの連携も可能です。

製品について

・DMX : DMExpressをDMXと表記する場合があります。
・DMX-h : DMExpressのHadoop版製品です。