データ分析基盤へのデータパイプラインツール『CData Sync』V22 をリリース
~変更データキャプチャ(CDC)強化、dbt Core 連携、Salesforce やBigQuery など主要コネクタで機能強化~
V22 のリリースでは、Salesforce、kintone、Google スプレッドシートなど主要コネクタで多くの機能追加、Oracle やMySQL などの変更データキャプチャ(CDC)機能の強化、dbt Core とのデータ変換処理の統合、同期データの履歴を保持するヒストリーモード機能の追加など多くの機能強化を行っています。
CData Sync は、400種類以上のSaaS やDB のデータを分析基盤DB / DWH にノーコードで同期できるデータパイプラインツールです。Salesforce、Dynamics 365、NetSuite、SAP、kintone などの業務データをMySQL、SQL Server、PostgreSQL などのRDB やBigQuery、Redshift、Snowflake などのクラウドデータウェアハウス(DWH)に簡単に統合します。CData Sync は企業のデータ活用のプロセスである「データ収集、データ整備、データ活用」のうちで大きなエンジニアリング負荷がかかるデータ収集のフェーズを担い、企業のリソースをデータの活用に集中できるようサポートします。
■対応データソースの追加
企業のSaaS 利用は急速に拡大し、アメリカでは1企業が平均で110種類以上のSaaS を使用しています。業務データ・顧客データはそれらのSaaS に分散してしまっているため、データの活用にはデータ分析基盤へのデータ統合が必須です。CData Sync では以下のようなデータソースに新たに対応し、400種類を超えるSaaS / DB が利用可能です(対応データソースリスト:https://www.cdata.com/jp/sync/connections/)。
Oracle Service Cloud | Pipedrive | Monday |
Outreach | Zoho Projects | AlloyDB |
LINE WORKS | GMO クラウドEC | STORES 予約 |
楽楽明細 | BtoB プラットフォーム請求書 | cyzen |
freee 会計 | freee 人事労務 | freee プロジェクト管理 |
freee 受発注 | HCL Notes / Domino | Amplitude |
AdRoll | Paymo | Todoist |
Mendix | Pingdom | CallRail |
■CDC 機能をOracle、MySQL で強化
CData Sync では、SaaS だけでなくRDB からのデータをレプリケーションすることが可能です。CDC 機能を使ってレプリケーションを行うことで、RDB にSELECT クエリで負担を掛けることなくRDB の変更データだけを同期することができるようになります。CData Sync V22 では、Oracle DB およびMySQL のCDC 対応機能を強化しました。すでにMicrosoft SQL Server、PostgreSQL のCDC に対応しています。CData Sync はオンプレミスおよびAWS / Azure / GCP などのクラウドに自由に配置して利用できるため、基幹RDB などのデータのクラウド分析環境へのセキュアなレプリケーションに適しています。
CData Sync でのCDC の活用記事:https://www.cdata.com/jp/blog/mysql-cdc-sync
■ELT モデルの「T(データ変換)」を行うdbt Transformations を追加
CData Sync は、ELT(Extract、Load、Transfer)モデルに適していて、Salesforce やスマレジなどの多様な業務データを生データに近い形でDWH に格納します。Redshift やSnowflake などのDWH 側でデータをロードした後にデータの変換処理を行う場合にはdbt(data build tool, https://www.getdbt.com/)というツールが人気です。ELT 処理の「E&L」を担うCData Sync から「T(変換)」を担うdbt をシームレスに起動させられるようになりました。
記事:https://www.cdata.com/jp/blog/sync-dbt
■Google BigQuery への同期時のテーブル変更(ALTER TABLE)機能
CData Sync はデータソースのテーブル定義が変更された際に、データソースに合わせて同期先のテーブル定義を変更する機能があります。この機能がGoogle BigQuery データソースでも利用可能になりました。
BigQuery でのALTER TABLE の記事:https://www.cdata.com/jp/blog/sync-googlebigquery-supportsaltertable
■同期データの変更履歴を保持するヒストリーモード
CData Sync では、データソース側のレコード単位で変更履歴を保持することが可能になります。最新データだけでなく、「データの変更の動きを見る」のようなシナリオでリクエストが多い機能です。本機能はSalesforce、Dynamics 365、kintone をはじめとする差分更新対応のデータソースで有効です。同期先としては、SQL Server、MySQL、PostgreSQL、Oracle DB、Snowflake、Databricks、Redshift で利用可能です。
CData Sync ヒストリーモードの記事:https://www.cdata.com/jp/blog/cdatasync-v22-historymode
■主要なデータソースのAPI 追従と機能追加
データソースとなるSaaS では、絶えず機能追加やAPI のバージョン変更が行われています。CData Sync では、個々のデータソースのAPI バージョンへの追従、認証方式への対応、ユーザーのリクエストによる新機能追加を行っています。これによりユーザーがデータソース変更の度にAPI 連携部分をプログラミングし直す必要がなく、CData Sync がノーコードでエンジニアリング負荷を最大限吸収します。
・主要なAPI への追従(一部):
- Salesforce Pardot API V5
- Google Analytics GA4
- Elasticsearch OpenSearch 2.0
- NetSuite API 2022.01
- Twitter Ads API V11
- Salesforce API V54
- Facebook Ads API V13.0
- Facebook API V13.0
- Amazon Athena IMDS V2
- Google Ads API V10
・機能追加(一部):
- Salesforce:OAuth JWT 認証のサポート
- kintone:フィールドコードのカラム利用
- Google スプレッドシート:Folder プロパティに指定したフォルダの下階層にあるスプレッドシートの探索、Folders ビューの追加、シート上のデータテーブルのレンジ指定でのクエリ、スプレッドシートID、シートID をテーブル名として使用が可能に
- Marketo:StaticLists の取得、ProgramMembers ビューをテーブルに変更
- NetSuite:SuiteQL スキーマのテーブルを拡充、保存検索のカラム名としてラベルを適用
■CData Sync ウェビナーを10/19 に開催
CData Sync V22 の新機能を紹介するウェビナーを開催いたします。
https://www.cdata.com/jp/blog/20221019-sync-v22release-webinar
<CData Software について:https://www.cdata.com/jp/>
CData Software, Inc. は、クラウドデータのコネクティビティソリューションおよびデータ連携ツールのリーディングベンダーです。250以上のSaaS、NoSQL やアプリケーションデータに標準接続するドライバーとデータ接続テクノロジーの開発に特化し、各種ツール、クラウドサービス、カスタムアプリケーションからのリアルタイム接続を実現します。CData 製品は、世界中の企業のデータ統合ソリューションにて利用されているほか、Salesforce、TIBCO、アステリアなど150以上のデータ製品ベンダーにOEM されています。
CData Sync(https://www.cdata.com/jp/sync/)は、400+のSaaS / DB をサポートするデータパイプラインツールです。オンプレミスDB やクラウドに分散する業務データをノーコードでRDB やBigQuery、Redshift、Snowflake などのDWH に統合できます。
※本リリースに掲載する社名または製品名は、各社の商標または登録商標です。
<本件に関するお問い合わせ先>
CData Software Japan 合同会社 マーケティング 對馬 陽子
E-mail: press@cdata.co.jp
すべての画像