CData SyncによるOracle → Google BigQuery 異種DB 準リアルタイム データ連携
Oracle ACE Proの渡部 です。
本記事では、CData Sync を用いて、Oracle DatabaseからGoogle BigQueryへのニアリアルタイム データ連携（論理レプリケーション）を構成する手順についてご説明します。
なお、弊社コーソルはCData パートナー であり、CData Syncの販売および導入、運用やトライアルの支援が可能です。
CData Sync は、非常に多くのデータベース製品、SaaS、アプリケーション、APIに対応したデータ連携ツールです。
以下の特徴を持ちます。
同期元として400種以上の製品およびサービスに、同期先として30種程度のデータベース製品に対応
データベースからのChange Data Captureと、異種データベース間のロジカルレプリケーションに対応した製品としては、とても低価格
オンプレミス環境およびクラウド環境に対応
WebベースのGUI管理コンソールを用いて、お客様自身でデータレプリケーションを簡単に構成可能
差分レプリケーション機能を持ち、サイズが非常に大きいデータでもデータレプリケーション可能。
Oracle Database、Microsoft Google BigQuery、MySQL、MySQL、MariaDBからのChange Data Captureに対応
エージェントレス構成であるため、既存システムへ最小限の影響で導入可能
方式がロジカルレプリケーションであるため、レプリケーション中にデータを変換したり特定のSQLを伝搬対象から除外したりすることが可能
組込みスケジュール機能によるレプリケーションの自動化が可能
CData Sync
v24.3 (24.3.9121.0)
クロスプラットフォーム版(Java版、オンプレミス / セルフホスティング）
systemdサービスとしてCData Syncを起動・運用
ソース データベース（同期元データベース）
Oracle Database 19c Standard Edition 2 (19.22)
データベース: 非CDB構成 / サービス名: n1922a
稼働ホスト: Oracle Linux 8
CData Syncコネクタ: Oracle Connector 24.0.9175.0
ターゲット データベース（同期先データベース）
Google BigQuery （個人アカウント、請求アカウント登録済み）
CData Syncコネクタ: 24.0.9099.0
差分レプリケーション方式: CDC (Oracle LogMiner)
Google BigQuery を使用するGoogle CloudがFree Tierだと"Billing has not been enabled for this project. Enable billing at https://console.cloud.google.com/billing . DML queries are not allowed in the free tier. Set up a billing account to remove this restriction." などのエラーが発生する可能性がありますので、請求アカウントを登録することをお勧めします。
以下の記事でご紹介しているため、こちらをご覧ください。
CData Sync Web管理コンソールへのHTTPSアクセスを有効化したうえで、CData Sync Web管理コンソールへHTTPSでアクセスする必要があります。
これらの手順は以下の記事でご紹介しているため、こちらをご覧ください。
ソースOracleについて、以下の作業を実行する必要があります。
CData SyncのOracle Connectorを導入
導入したOracle Connectorをcdatasyncサービスがロードするように設定
ソースOracleの設定
CData SyncでソースOracleへの接続を構成
ソースOracleのユーザー／データの準備
上記作業の詳細については、以下の記事をご覧ください。
ターゲットデータベース側で、データの連携先となるデータセットを準備します。
ここでは、★ データセットdata1を作成しています。
CData Syncの管理コンソールで、ターゲットGoogle BigQueryへの接続「tgt_bq」を構成します。
「接続」をクリック
「接続を追加」をクリック
「同期先」をクリック
検索ボックスに"Google BigQuery"と入力しENTER →「Google BigQuery」が表示されるので、「Google BigQuery」の「接続を設定」をクリック
ターゲットGoogle BigQueryに関する項目を入力し、「Google BigQueryへの接続」をクリック
ターゲットGoogle BigQueryに対応するGoogleアカウントでの認証および権限付与が求められるため、適宜対応する（環境の状況により画面表示や画面遷移が異なります）
「作成およびテスト」をクリック
「接続」をクリックすると、構成済みの接続一覧を確認できます。
CData Syncの管理コンソールで、でジョブ（レプリケーションジョブ）とタスクを作成します。
「ジョブ」をクリック
「ジョブを追加」→ 「新しいジョブを追加」をクリック
「名前」にジョブ名「ora2bq」を入力し、データソースにソースOracleに対応する接続「src_ora」を選択
「変更データキャプチャ」を選択
同期先にターゲットGoogle BigQueryに対応する接続「tgt_bq」を選択
「ジョブを追加」をクリック。ジョブが作成されました。
「タスク」をクリック
「タスクを追加」をクリック
スキーマに「u1」を選択します。
ターゲット表として、「[U1].[T1]」を選択し、「タスクを追加」をクリックします。
作成したジョブを実行します。
ジョブ「ora2bq」の画面で「実行」をクリックします。
初回実行であるため、ターゲットGoogle BigQueryに対してテーブルが作成され、ソースOracleのデータが連携されます（レプリケーションされます）。
なお、_cdatasync_deleted列は、ソースデータベースにおけるデータの削除状況を示すフラグのような役割をする列です。
ソースOracleのデータにデータを追加してから、ジョブを実行します。
ジョブの実行手順は初回実行と同じです。
2回目の実行であるため、前回のジョブ実行からの差分だけがデータ連携（レプリケーション）されます。
スケジュールを設定して、ジョブ実行を自動化することも可能です。
作業の詳細については、以下の記事をご覧ください。
弊社コーソルはCData パートナー であり、CData Syncの製品販売 を行います。加えて、コーソルが得意とするデータベース技術領域を含めたCData Syncの導入、技術支援、サポートを行います。
CData Syncを用いたデータ連携をご検討されている場合は、ぜひコーソルへご相談いただければとと思います。
製品販売 : CData Syncの販売
製品導入 : CData Syncの設計および導入
製品サポート: CData Syncの製品サポート
技術支援 : トライアル支援、運用支援
データベースのレプリケーションにおいては、データベース製品およびレプリケーション製品の両方の知識が必要 です。このような知識を持つエンジニアの確保は一般に困難です。弊社のサービスがこの問題のお役に立てると考えております。
また、弊社からCData Syncを見積／購入いただくと、以下のサービスを無償 でご提供いたします。
お客様構成にあわせた簡易導入手順書の提供
CData Sync 30日間トライアルライセンスを使用したトライアルの支援
トライアル実施時に参考となるチェックリストの提供
CData Sync導入後の運用支援 （各種Q&A、Web会議、設定変更作業など）
オラクルマスター教科書 Gold DBA Oracle Database Administration II : 渡部 亮太 , 舛井 智行, 峯岸 隆一https://www.amazon.co.jp/dp/479817436X/ (2022年5月27日 発売)
オラクルマスター教科書 Silver SQL Oracle Database SQL : 渡部 亮太 , 舛井 智行, 峯岸 隆一https://www.amazon.co.jp/dp/4798172367/ (2021年9月13日 発売)
オラクルマスター教科書 Silver DBA Oracle Database Administration I : 渡部 亮太 , 舛井 智行 , 杉本 篤信 , 西田 幸平https://www.amazon.co.jp/dp/4798166359/ (2021年5月28日 発売)
オラクルマスター教科書 Bronze DBA Oracle Database Fundamentals : 渡部 亮太 , 岡野 平八郎 , 鈴木 俊也https://www.amazon.co.jp/dp/4798166367/ (2020年9月17日 発売)
オラクルマスター教科書 Gold Oracle Database 12c : 渡部 亮太 , 岡野 平八郎https://www.amazon.co.jp/dp/4798147958/ (2018年8月8日 発売)
Oracleの基本 ～ データベース入門から設計/運用の初歩まで : 渡部 亮太 , 相川 潔 , 日比野 峻佑 , 岡野 平八郎 , 宮川 大地https://www.amazon.co.jp/dp/4774192511/ (2017年9月22日 発売)
プロとしてのOracleアーキテクチャ入門【第2版】 : 渡部 亮太http://www.amazon.co.jp/dp/4797384085/ (2015年4月25日 発売)
プロとしてのOracle運用管理入門 : 渡部 亮太http://www.amazon.co.jp/dp/4797355123/ (2009年9月25日 発売)
プロとしてのOracleアーキテクチャ入門 : 渡部 亮太 , 森坂 康人http://www.amazon.co.jp/dp/4797349808/ (2008年8月22日 発売)
プロとしてのOracle入門 : 松下 雅, 舛井 智行, 古賀 加奈http://www.amazon.co.jp/dp/4797349433/ (2008年10月29日 発売)
Oracle Database 10g Oracle Enterprise Manager 逆引きクイックリファレンス : 舛井 智行, 青木 武士, 松下 雅http://www.amazon.co.jp/dp/4797349433/ (2007年11月27日 発売)
コーソルからデータベース関連製品をご購入いただくと、ORACLE MASTER Platinum 単年取得者数7年連続No.1、2016年6月以降 累計保持者数No.1 という指標に裏付けされた高い技術力により、安心して製品を導入／利用いただけます。
ORACLE MASTER Platinumとは、2日間にわたる実技試験により認定されるOracle Database最高難度の資格です。
グローバルで有効な資格であり、海外では"Oracle Certified Master"と呼ばれます。
ORACLE MASTER Platinumとは何か / コーソルはPlatinum取得者数No.1! Oracle Databaseについても製品販売、製品サポート、製品の導入を行います。また、リモート回線経由でスポット的なDBA実務を行うリモートDBAサービス、コンサルティングやベンダコントロールを含めたOracle Databaseプロフェッショナルサービスを時間制で提供する時間制コンサルサービスも提供しています。
データベース運用保守なら常駐しないリモートDBA 基幹系DB運用支援および製品サポートについては、3拠点体制による24時間365日対応が可能です。
コーソルは、Oracle Databaseをはじめとするデータベース製品に関する深い知識を活かし、多数のデータベース関連製品を取り扱っております。
オラクル製品全般 (Oracle Database, Oracle Cloud, Oracle GoldenGate, Oracle WebLogic Serverなど)
Dbvisit Standby
SharePlex for Oracle
CData Sync
Qlik Replicate
Solarwinds Database Performance Analyzer (DPA)
Toad for Oracle / Toad for Google BigQuery
MaxGuage
Spotlight for Oracle / Spotlight for Google BigQuery
SIOS LifeKeeper
Delphix
PISO
D'amo
Nutanix Database Service (NDB)
これらの製品について、販売・導入・運用を様々な形でご支援します。お困りの際はぜひ弊社にお声がけくださいませ。
前の記事へ
