Oracle → Kafka (Confluent Cloud) 準リアルタイム データ連携 (CData Sync v25.1)
Oracle ACE Proの渡部です。
本記事では、CData Sync を用いて、Oracle から Kafka (Confluent Cloud) へのニアリアルタイム データ連携(論理レプリケーション)を構成する手順についてご説明します。

なお、弊社コーソルはCData パートナーであり、CData Syncの販売および導入、運用やトライアルの支援が可能です。
CData Syncとは
CData Syncは、非常に多くのデータベース製品、SaaS、アプリケーション、APIに対応したデータ連携ツールです。
以下の特徴を持ちます。
- 同期元として400種以上の製品およびサービスに、同期先として30種程度のデータベース製品に対応
- データベースからのChange Data Captureと、異種データベース間のロジカルレプリケーションに対応した製品としては、とても低価格
- オンプレミス環境およびクラウド環境に対応
- WebベースのGUI管理コンソールを用いて、お客様自身でデータレプリケーションを簡単に構成可能
- 差分レプリケーション機能を持ち、サイズが非常に大きいデータでもデータレプリケーション可能。
- Oracle Database、Microsoft MySQL、PostgreSQL、MySQL、MariaDB、IBM Db2、IBM InformixからのChange Data Captureに対応
- エージェントレス構成であるため、既存システムへ最小限の影響で導入可能
- 方式がロジカルレプリケーションであるため、レプリケーション中にデータを変換したり特定のSQLを伝搬対象から除外したりすることが可能
- 組込みスケジュール機能によるレプリケーションの自動化が可能
弊社からCData Syncを見積/購入いただくと、以下のサービスを無償でご提供いたします。
- お客様構成にあわせた簡易導入手順書の提供
- CData Sync 30日間トライアルライセンスを使用したトライアルの支援
- トライアル実施時に参考となるチェックリストの提供
- CData Sync導入後の運用支援(各種Q&A、Web会議、設定変更作業など)
対象ソフトウェアおよび環境
- CData Sync
- v25.1 (25.1.9242.0)
- クロスプラットフォーム版(Java版、オンプレミス / セルフホスティング)
- systemdサービスとしてCData Syncを起動・運用
- ソース データベース(同期元データベース)
- Oracle Database 19c (19.22)
- 稼働ホスト: Oracle Linux 8
- CData Syncコネクタ: 24.0.9210.0
- ターゲット (同期先)
- Confluent Cloud
- CData Syncコネクタ: Apache Kafka (24.0.9175.0)
- 差分レプリケーション方式: LogMiner
CData Syncのインストール
以下の記事でご紹介しているため、こちらをご覧ください。
ソースOracle関連の作業
ソースOracleについて、以下の作業を実行する必要があります。
- CData SyncのOracle Connectorを導入
- 導入したOracle Connectorをcdatasyncサービスがロードするように設定
- ソースOracleの設定
- CData SyncでソースOracleへの接続を構成
- ソースOracleのユーザー/データの準備
上記作業の詳細については、以下の記事をご覧ください(CData Syncのバージョンは違いますが、おおむね同等です)。
Confluent CloudのAPI Keyを作成
今回の構成では、ターゲットKafkaにConfluent Cloudを使用します。
Confluent Cloud側で、接続時の認証情報となるAPI Keyを作成します。
以下の2つのAPI Keyを作成します。
- クラスタのAPI Key
- Environments > [環境名] > [クラスター名] > Cluster Overview > API Keys で作成
- Schema RegistryのAPI Key
- Environments > [環境名] > Stream Governance > Schema Registry > API Keys で作成
[ ] CData SyncでターゲットKafkaへの接続を構成
CData Syncの管理コンソールで、ターゲットKafkaへの接続「tgt_kfk」を構成します。以下の手順に従います。
-
管理コンソールで「接続」をクリック
-
「接続を追加」をクリック

- 「同期先」を選択する。

- 「インストール済み」がOFFになっていることを確認して、検索ボックスに"kafka"と入力しENTER →「Apache Kafka」が表示されので、「コネクタをインストール」をクリック

- 「インストールの種類」→「コネクタを自動インストール」にチェックして「インストール」


- 「接続を設定」をクリック

- ターゲットKafkaに関する項目を入力し、「作成およびテスト」をクリック




CData Syncでジョブ(レプリケーションジョブ)とタスクを作成
CData Syncの管理コンソールで、でジョブ(レプリケーションジョブ)とタスクを作成します。
- 「ジョブ」をクリック

- 「ジョブを追加」をクリック

- 「新しいジョブを追加」をクリック

- 「名前」にジョブ名を入力して、データソースにソースOracleに対応する接続「src_ora」を選択

- 「変更データキャプチャ」を選択します。

- 同期先にターゲットKafkaに対応する接続「dst_kfk」を選択

- 「ジョブを追加」をクリック。ジョブが作成されました。

- 「タスク」をクリック

- 「タスクを追加」をクリック

- 検索ボックスに「t1」を入力し、表示されたテーブル一覧から「[U1].[T1]」を選択し、「タスクを追加」をクリックします。



ジョブの初回実行
作成したジョブを実行します。
- ジョブ「ora2kfk」の画面で「実行」をクリックします。



ターゲットKafkaにソースOracleのデータが連携されます(レプリケーションされます)。


なお、_cdatasync_deletedフィールドは、ソースデータベースにおけるデータの削除状況を示すフラグのような役割をする列です。
ジョブの2回目実行
ソースOracleにデータを追加してから、ジョブを実行します。
ジョブの実行手順は初回実行と同じです。
2回目の実行であるため、前回のジョブ実行からの差分だけがデータ連携(レプリケーション)されます。
ソースOracleにデータを追加
SQL> INSERT INTO u1.t1 VALUES(6, 'FFF');
1 row created.
SQL> INSERT INTO u1.t1 VALUES(7, 'GGG');
1 row created.
SQL> commit;
Commit complete.
SQL> SELECT * FROM u1.t1;
N S
---------- ----------------
1 AAA
2 BBB
3 CCC
4 DDD
5 EEE
6 FFF
7 GGG
7 rows selected.
ジョブ実行後、ターゲットKafkaでデータを確認

ジョブ実行の自動化
スケジュールを設定して、ジョブ実行を自動化することも可能です。
なぜコーソルからCData Syncを購入すべきなのか
弊社コーソルはCData パートナーであり、CData Syncの製品販売を行います。加えて、コーソルが得意とするデータベース技術領域を含めたCData Syncの導入、技術支援、サポートを行います。

CData Syncを用いたデータ連携をご検討されている場合は、ぜひコーソルへご相談いただければとと思います。
- 製品販売 : CData Syncの販売
- 製品導入 : CData Syncの設計および導入
- 製品サポート: CData Syncの製品サポート
- 技術支援 : トライアル支援、運用支援
コーソルからCData Syncを購入いただくと
データベースのレプリケーションにおいては、データベース製品およびレプリケーション製品の両方の知識が必要です。このような知識を持つエンジニアの確保は一般に困難です。弊社のサービスがこの問題のお役に立てると考えております。
また、弊社からCData Syncを見積/購入いただくと、以下のサービスを無償でご提供いたします。
- お客様構成にあわせた簡易導入手順書の提供
- CData Sync 30日間トライアルライセンスを使用したトライアルの支援
- トライアル実施時に参考となるチェックリストの提供
- CData Sync導入後の運用支援(各種Q&A、Web会議、設定変更作業など)
多数のOracle関連書籍を執筆

- オラクルマスター教科書 Gold DBA Oracle Database Administration II : 渡部 亮太 , 舛井 智行, 峯岸 隆一
https://www.amazon.co.jp/dp/479817436X/ (2022年5月27日 発売)
- オラクルマスター教科書 Silver SQL Oracle Database SQL : 渡部 亮太 , 舛井 智行, 峯岸 隆一
https://www.amazon.co.jp/dp/4798172367/ (2021年9月13日 発売)
- オラクルマスター教科書 Silver DBA Oracle Database Administration I : 渡部 亮太 , 舛井 智行 , 杉本 篤信 , 西田 幸平
https://www.amazon.co.jp/dp/4798166359/ (2021年5月28日 発売)
- オラクルマスター教科書 Bronze DBA Oracle Database Fundamentals : 渡部 亮太 , 岡野 平八郎 , 鈴木 俊也
https://www.amazon.co.jp/dp/4798166367/ (2020年9月17日 発売)
- オラクルマスター教科書 Gold Oracle Database 12c : 渡部 亮太 , 岡野 平八郎
https://www.amazon.co.jp/dp/4798147958/ (2018年8月8日 発売)
- Oracleの基本 ~ データベース入門から設計/運用の初歩まで : 渡部 亮太 , 相川 潔 , 日比野 峻佑 , 岡野 平八郎 , 宮川 大地
https://www.amazon.co.jp/dp/4774192511/ (2017年9月22日 発売)
- プロとしてのOracleアーキテクチャ入門【第2版】 : 渡部 亮太
http://www.amazon.co.jp/dp/4797384085/ (2015年4月25日 発売)
- プロとしてのOracle運用管理入門 : 渡部 亮太
http://www.amazon.co.jp/dp/4797355123/ (2009年9月25日 発売)
- プロとしてのOracleアーキテクチャ入門 : 渡部 亮太 , 森坂 康人
http://www.amazon.co.jp/dp/4797349808/ (2008年8月22日 発売)
- プロとしてのOracle入門 : 松下 雅, 舛井 智行, 古賀 加奈
http://www.amazon.co.jp/dp/4797349433/ (2008年10月29日 発売)
- Oracle Database 10g Oracle Enterprise Manager 逆引きクイックリファレンス : 舛井 智行, 青木 武士, 松下 雅
http://www.amazon.co.jp/dp/4797349433/ (2007年11月27日 発売)
コーソルはORACLE MASTER Platinum 累計取得者数No.1
コーソルからデータベース関連製品をご購入いただくと、ORACLE MASTER Platinum 単年取得者数7年連続No.1、2016年6月以降 累計保持者数No.1という指標に裏付けされた高い技術力により、安心して製品を導入/利用いただけます。

ORACLE MASTER Platinumとは、2日間にわたる実技試験により認定されるOracle Database最高難度の資格です。
グローバルで有効な資格であり、海外では"Oracle Certified Master"と呼ばれます。
ORACLE MASTER Platinumとは何か / コーソルはPlatinum取得者数No.1!
Oracle DatabaseのDBAサービスを提供可能
Oracle Databaseについても製品販売、製品サポート、製品の導入を行います。また、リモート回線経由でスポット的なDBA実務を行うリモートDBAサービス、コンサルティングやベンダコントロールを含めたOracle Databaseプロフェッショナルサービスを時間制で提供する時間制コンサルサービスも提供しています。
データベース運用保守なら常駐しないリモートDBA
基幹系DB運用支援および製品サポートについては、3拠点体制による24時間365日対応が可能です。

コーソルは多数のデータベース関連製品を取り扱っています
コーソルは、Oracle Databaseをはじめとするデータベース製品に関する深い知識を活かし、多数のデータベース関連製品を取り扱っております。
- オラクル製品全般 (Oracle Database, Oracle Cloud, Oracle GoldenGate, Oracle WebLogic Serverなど)
- Dbvisit Standby
- SharePlex for Oracle
- CData Sync
- Qlik Replicate
- Solarwinds Database Performance Analyzer (DPA)
- Toad for Oracle / Toad for MySQL
- MaxGuage
- Spotlight for Oracle / Spotlight for MySQL
- SIOS LifeKeeper
- Delphix
- PISO
- D'amo
- Nutanix Database Service (NDB)
これらの製品について、販売・導入・運用を様々な形でご支援します。お困りの際はぜひ弊社にお声がけくださいませ。
