株式会社コーソル

コーソルDatabaseエンジニアのブログ

技術ブログ

CDCジョブの処理 – CData Sync

Oracle ACE Proの渡部です。

CData Syncはレプリケーション処理を「ジョブ」という概念で扱います。 ここでは、CDCタイプのジョブを実行したときに、データベースに対して実行される処理の内容を説明します。 記載内容は筆者の検証に基づくものであり、できる限り正確な内容となるように努めていますが、誤りがある可能性があります。また、将来的に変更される可能性もあります。

なお、弊社コーソルはCData パートナーであり、CData Syncの販売および導入、運用やトライアルの支援が可能です。

CData Syncとは

CData Syncは、非常に多くのデータベース製品、SaaS、アプリケーション、APIに対応したデータ連携ツールです。

以下の特徴を持ちます。

  • 同期元として400種以上の製品およびサービスに、同期先として30種程度のデータベース製品に対応
  • データベースからのChange Data Captureと、異種データベース間のロジカルレプリケーションに対応した製品としては、とても低価格
  • オンプレミス環境およびクラウド環境に対応
  • WebベースのGUI管理コンソールを用いて、お客様自身でデータレプリケーションを簡単に構成可能
  • 差分レプリケーション機能を持ち、サイズが非常に大きいデータでもデータレプリケーション可能。
  • Oracle Database、Microsoft SQL Server、MySQL、MySQL、MariaDB、IBM Db2、IBM InformixからのChange Data Captureに対応
  • エージェントレス構成であるため、既存システムへ新規ソフトウェアのの導入が不要
  • 方式がロジカルレプリケーションであるため、以下が可能
    • 特定のテーブルを伝搬対象から除外する / 特定のテーブルの変更のみを伝搬する
    • 異なる製品/バージョン間でレプリケーションを実行
  • 組込みスケジュール機能によるレプリケーションの自動化が可能

論理アーキテクチャ（ジョブ、タスク、データソース、同期先）

  • ジョブには複数のタスクが含まれます。

  • タスクは、レプリケーション対象の表に対応します。

  • ジョブは、内蔵スケジューラでスケジュール実行（定期繰り返し実行）可能です。

  • ソース（同期元）への接続は「データソース」と呼ばれる

  • ターゲット（同期先）への接続は「同期先」と呼ばれる

  • 拡張型CDCでは、CDCエンジンが一定間隔（デフォルト3秒）でソースDB（データソース）から「データの変更」を取得します(capture)

従来型CDCと拡張型CDC

CData SyncのCDCには、従来型CDCと拡張型CDCがあります。

従来型CDC

  • 以前から存在するCDC機能です。
  • ジョブの実行時にcaptureとapplyが実行されます（後述）
  • ソースDB（データソース）が以下の製品で使用できます。
    • Oracle (11g R2以降)
    • Microsoft SQL Server
    • MySQL
    • MariaDB
    • PostgreSQL

拡張型CDC

  • v24.3から導入された新しいCDC機能です。
  • CDCエンジンがcaptureを実行します（後述）
  • ジョブの実行時にapplyが実行されます（後述）
  • ソースDB（データソース）が以下の製品で使用できます。
    • Oracle (12c以降)
    • PostgreSQL
    • IBM Db2
    • Informix

ジョブ初回実行時

  1. ターゲットDB（同期先）にテーブルを作成します。

    • テーブルの列構成は、同期先のテーブル定義をもとに、CData Syncが内部ロジックに基づき自動的に決定します。
    • 自動作成されるテーブルの定義が要件に合わない場合、ジョブの初回実行前にテーブルを手動作成できます。
    • ソースDB（データソース）で削除された行を識別するため、"_cdatasync_deleted"という名前の列が追加されます。

  2. 作成したテーブルに、ソースDB（データソース）のテーブルの全件データをロードします。

    • CData Sync以外の手段（DB固有のインポートツールなど）で同期先に全データがロード済みである場合など、全件データのロードをスキップしたい場合は、ジョブまたはタスクに skipsnapshot=true を設定するとジョブの初回実行時の全件ロードをスキップできます。

ジョブ初回実行後（拡張型CDCの場合）

  1. CDCエンジンが起動し、一定間隔（デフォルト3秒）でソースDB（データソース）から「データの変更」を取得します(capture)
    • CDCエンジンはCData Syncサーバーに含まれるコンポーネントです。拡張型CDCの場合のみ使用されます。従来型CDCでは使用されません。
    • 拡張型CDCで、captureが動作していないように見えるときは、CDCエンジンの起動状態を確認してください。

2回目以降のジョブ実行時（拡張型CDCの場合）

  1. capture済みのデータ変更を、ターゲットDB（同期先）に適用します(apply、差分レプリケーション）

2回目以降のジョブ実行時（従来型CDCの場合）

  1. ソースDB（データソース）から「データの変更」を取得し(capture)、ターゲットDB（同期先）に適用します(apply、差分レプリケーション）

なぜコーソルからCData Syncを購入すべきなのか

弊社コーソルはCData パートナーであり、CData Syncの製品販売を行います。加えて、コーソルが得意とするデータベース技術領域を含めたCData Syncの導入、技術支援、サポートを行います。

CData Syncを用いたデータ連携をご検討されている場合は、ぜひコーソルへご相談いただければとと思います。

  • 製品販売 : CData Syncの販売
  • 製品導入 : CData Syncの設計および導入
  • 製品サポート: CData Syncの製品サポート
  • 技術支援 : トライアル支援、運用支援

コーソルからCData Syncを購入いただくと

データベースのレプリケーションにおいては、データベース製品およびレプリケーション製品の両方の知識が必要です。このような知識を持つエンジニアの確保は一般に困難です。弊社のサービスがこの問題のお役に立てると考えております。

また、弊社からCData Syncを見積／購入いただくと、以下のサービスを無償でご提供いたします。

  • お客様構成にあわせた簡易導入手順書の提供
  • CData Sync 30日間トライアルライセンスを使用したトライアルの支援
  • トライアル実施時に参考となるチェックリストの提供
  • CData Sync導入後の運用支援（各種Q&A、Web会議、設定変更作業など）

多数のOracle関連書籍を執筆

コーソルはORACLE MASTER Platinum 累計取得者数No.1

コーソルからデータベース関連製品をご購入いただくと、ORACLE MASTER Platinum 単年取得者数7年連続No.1、2016年6月以降 累計保持者数No.1という指標に裏付けされた高い技術力により、安心して製品を導入／利用いただけます。

ORACLE MASTER Platinumとは、2日間にわたる実技試験により認定されるOracle Database最高難度の資格です。 グローバルで有効な資格であり、海外では"Oracle Certified Master"と呼ばれます。

ORACLE MASTER Platinumとは何か / コーソルはPlatinum取得者数No.1!

Oracle DatabaseのDBAサービスを提供可能

Oracle Databaseについても製品販売、製品サポート、製品の導入を行います。また、リモート回線経由でスポット的なDBA実務を行うリモートDBAサービス、コンサルティングやベンダコントロールを含めたOracle Databaseプロフェッショナルサービスを時間制で提供する時間制コンサルサービスも提供しています。

データベース運用保守なら常駐しないリモートDBA

基幹系DB運用支援および製品サポートについては、3拠点体制による24時間365日対応が可能です。

コーソルは多数のデータベース関連製品を取り扱っています

コーソルは、Oracle Databaseをはじめとするデータベース製品に関する深い知識を活かし、多数のデータベース関連製品を取り扱っております。

  • オラクル製品全般 (Oracle Database, Oracle Cloud, Oracle GoldenGate, Oracle WebLogic Serverなど)
  • Dbvisit Standby
  • SharePlex for Oracle
  • CData Sync
  • Qlik Replicate
  • Solarwinds Database Performance Analyzer (DPA)
  • Toad for Oracle / Toad for SQL Server
  • MaxGuage
  • Spotlight for Oracle / Spotlight for SQL Server
  • SIOS LifeKeeper
  • Delphix
  • PISO
  • D'amo
  • Nutanix Database Service (NDB)

これらの製品について、販売・導入・運用を様々な形でご支援します。お困りの際はぜひ弊社にお声がけくださいませ。

関連記事

プロフィール

On7tWW6m1Ul4

渡部 亮太

・Oracle ACE
・AWS Certified Solutions Architect - Associate
・ORACLE MASTER Platinum Oracle Database 11g, 12c 他多数

カテゴリー

アーカイブ

一覧へ戻る