この記事について
Databricks SQL Warehouse、Amazon Redshift、Oracle ADW の3つのクラウド DWH を、アーキテクチャ・性能・コスト・スケーリングの観点で比較する。
1. アーキテクチャ比較
| 観点 |
SQL Warehouse |
Redshift |
ADW |
| エンジン |
Photon（C++ ベース） |
独自 MPP |
Oracle Database |
| ストレージ |
Delta Lake（S3/ADLS/GCS） |
ローカル or S3（RA3） |
Exadata Storage |
| コンピュート・ストレージ分離 |
✅ |
✅（RA3） |
△（Exadata 内） |
| データフォーマット |
Parquet（Delta Lake） |
独自列指向 |
独自（HCC） |
| オープン性 |
オープン（Parquet） |
プロプライエタリ |
プロプライエタリ |
2. Photon エンジン
Databricks が開発した C++ ベースのクエリ実行エンジン。
| 特徴 |
説明 |
| ネイティブ実行 |
JVM ではなく C++ で直接実行。GC オーバーヘッドなし |
| ベクトル化処理 |
SIMD 命令を活用したバッチ処理 |
| 適応的クエリ実行 |
実行時の統計に基づいてプランを動的に最適化 |
| Delta Lake 最適化 |
Delta Lake の統計情報を活用したファイルスキップ |
Photon により、SQL Warehouse は従来の Spark SQL より数倍〜数十倍高速になるケースがある。
3. スケーリング
| 観点 |
SQL Warehouse |
Redshift Provisioned |
Redshift Serverless |
ADW |
| スケールアップ |
Warehouse サイズ変更 |
ノードタイプ変更 |
自動 |
OCPU 追加 |
| スケールアウト |
自動（クラスタ追加） |
ノード追加 |
自動 |
RAC ノード追加 |
| 同時実行スケーリング |
✅（自動クラスタ追加） |
Concurrency Scaling |
自動 |
✅ |
| ゼロスケール |
✅（自動停止） |
❌ |
✅（RPU=0） |
✅（自動停止） |
SQL Warehouse の自動スケーリング：
クエリ負荷 低 → Cluster 1 のみ稼働
クエリ負荷 高 → Cluster 2, 3 を自動追加
クエリ負荷 低 → Cluster 2, 3 を自動停止
アイドル → 全停止（コスト $0）
4. コストモデル
|
SQL Warehouse |
Redshift Provisioned |
Redshift Serverless |
ADW |
| 課金単位 |
DBU × 時間 |
ノード × 時間 |
RPU × 秒 |
OCPU × 時間 |
| ストレージ |
クラウドストレージ料金 |
含む（RA3 は S3） |
S3 料金 |
含む |
| 最小課金 |
自動停止で $0 |
常時稼働 |
RPU × 秒 |
自動停止で $0 |
| 予約割引 |
✅（Committed Use） |
✅（Reserved Instance） |
❌ |
✅ |
コスト最適化のポイント： – SQL Warehouse：自動停止 + 適切なサイズ選択 – Redshift：Reserved Instance + Concurrency Scaling – ADW：自動スケーリング + 自動停止
5. SQL 互換性
| 観点 |
SQL Warehouse |
Redshift |
ADW |
| SQL 方言 |
ANSI SQL + Spark SQL |
PostgreSQL 互換 |
Oracle SQL（PL/SQL） |
| ストアドプロシージャ |
Python / SQL |
PL/pgSQL |
PL/SQL |
| ウィンドウ関数 |
✅ |
✅ |
✅ |
| 半構造化データ |
✅（JSON ネイティブ） |
✅（SUPER 型） |
✅（JSON） |
| 正規表現 |
✅ |
✅ |
✅ |
6. データレイク統合
| 観点 |
SQL Warehouse |
Redshift |
ADW |
| 外部テーブル |
Delta Lake（ネイティブ） |
Spectrum（S3） |
External Table（OCI） |
| フォーマット |
Parquet（Delta） |
Parquet, ORC, CSV |
Parquet, ORC, CSV |
| カタログ |
Unity Catalog |
Glue Data Catalog |
OCI Data Catalog |
| データ移動 |
不要（直接クエリ） |
Spectrum or COPY |
External Table or DBMS_CLOUD |
SQL Warehouse はデータレイク上のデータに直接クエリするため、データのロード（COPY）が不要。これがレイクハウスの本質的な利点。
7. まとめ
| 観点 |
SQL Warehouse |
Redshift |
ADW |
| 最適ユースケース |
レイクハウス統合分析 |
AWS 内の定常分析 |
Oracle 中心の環境 |
| 性能の源泉 |
Photon + Delta Lake 統計 |
MPP + Sort Key |
Smart Scan + HCC |
| スケーリング |
自動（ゼロスケール可） |
手動 or Serverless |
自動 |
| オープン性 |
高い（Parquet） |
低い |
低い |
| マルチクラウド |
✅ |
❌ |
❌ |
| OLTP 対応 |
❌ |
❌ |
✅ |
参考文献
- Databricks. “Databricks SQL.” https://docs.databricks.com/en/sql/
- Databricks. “Photon Runtime.” https://docs.databricks.com/en/compute/photon.html
- AWS. “Amazon Redshift.” https://docs.aws.amazon.com/redshift/
- Oracle. “Autonomous Data Warehouse.” https://docs.oracle.com/en/cloud/paas/autonomous-data-warehouse-cloud/