差分レプリケーションの分類（CDCベース、クエリベース）

Oracle ACE Proの渡部です。差分レプリケーションの分類について説明します。

ある企業／団体ではたいてい複数のシステムを使用しており、それぞれのシステムにはたいてい何らかのデータベースが存在します。このような状況でシステムを効率的に運用する、データを有効に活用するには、それぞれのシステムのデータベース同士のデータを連携／同期させる必要がでてきます。

大量データの連携／同期においては、データ全件をまるまる連携／同期するのではなく、変更されたデータのみを連携／同期できることが求められます。これを実現する1つの方法が、差分レプリケーションです。

差分レプリケーションは、変更されたデータを識別する方法に応じて分類できます。ここでは以下の2つの差分レプリケーションについて説明します。

ここでは、Change Data Capture(CDC)を、「なんらかのDBMSの機構を用いて、データベースで実行された変更処理を得ること」と定義します。

OracleロジカルレプリケーションCDC実装方式の分類

にまとめたとおり、CDCの実装方式は様々ですが、DBMSで実行される全ての変更処理はトランザクションログ（Oracleの場合はREDOログ）に記録されますので、基本的な考え方としては「トランザクションログを読出し、解析して変更処理を得る」ということになります。

方式の特性から、以下の利点が得られます。

トランザクションログに記録された変更処理には、タイムスタンプやトランザクションのコミットなどの情報が記録されているため、非常に精緻なレベルで変更処理を把握することが可能
トランザクションログには全ての種類の変更処理が記録されるため、原理的にはそのデータベースで実行された全ての変更処理を得ることが可能

クエリベースの差分レプリケーションでは、クエリ(SELECT文)を実行することでデータベース内の変更されたデータを得ます。

逆に言うと、クエリベースの差分レプリケーションを使用するためには、SELECT文を実行することで変更されたデータが得られるように、テーブルを設計しておく必要があります。典型的には、対象テーブルに「更新日時」列や「バージョン番号」列を設けておき、

SELECT * FROM テーブル1 WHERE 更新日時 > '2023-09-07 00:00:00'

や、

SELECT * FROM テーブル1 WHERE バージョン番号 > 1234

などのSELECT文で、前回のレプリケーション以後で変更されたデータを得られるようにするなどです。

方式の特性から、以下の利点が得られます。

方式の特性から、以下の制限が課せられます。

差分レプリケーション用のクエリを効率的に実行できる必要があります。端的に言うと、「更新日時」列や「バージョン番号」列にインデックスを設定しておく必要があります。（インデックスの設定は必須ではありませんが、データ量によっては実用上許容できない処理速度になるでしょう）
変更されたデータを識別するために使える適当な列がない場合、列を追加し、アプリケーションが適切に値を設定する必要があります。上記の例でいうと、「更新日時」列や「バージョン番号」列を追加し、アプリケーションがデータを変更するたびに「更新日時」や「バージョン番号」を設定するようにする必要があります。
多くの場合、データの削除には対応できません（原理的には、いわゆる「削除フラグ」「論理削除」の仕組みを導入すれば対応できますが、テーブル設計およびアプリケーションで配慮が必要です）。
テーブル構成の変更に追従できません。例えば、レプリケーション対象のテーブルに列が追加された場合、レプリケーション先のテーブルに自動的に列が追加されません。

上記のとおり、クエリベースの差分レプリケーションには、CDC非対応のデータベースで差分レプリケーションを実現できるという利点の反面、いくつかの制限が課せられます。

これを、「CDCベース差分レプリケーションの優位性」という観点でまとめると以下のように言い換えられます。

差分レプリケーションのためにテーブル設計を修正する必要はありません。
データベースで実行された変更処理を、DBMSの機構を用いて得られるためです。
データの削除をレプリケーション可能です。すなわち、レプリケーション対象のテーブルのデータが削除された場合、レプリケーション先のテーブルからも自動的にデータを削除できます。
テーブル構成の変更をレプリケーション可能です。例えば、レプリケーション対象のテーブルに列が追加された場合、レプリケーション先のテーブルに自動的に列を追加できます。
- ただし、全ての構成変更をレプリケーション可能なわけではありません。この点については、https://cosol.jp/techdb/2023/05/database_dr_physicalrep_or_logicalrep/ で少し説明しています。