primeNumber社、データカタログ「COMETA®」のdbtメタデータ連携機能をリリース　dbtを通じてCOMETA®上でカラムリネージを確認し、スムーズな障害対応やデータ信頼性の向上を実現

株式会社primeNumber

2024年10月31日 11時00分

株式会社primeNumber（本社：東京都品川区、代表取締役CEO 田邊雄樹）は、データカタログサービス「COMETA®（コメタ）」の機能を拡充、新たにdbt（data build tool）の連携機能を搭載しました。

dbtは、dbt Labs社が提供するデータ変換ツールです。有償の「dbt Cloud」、オープンソースソフトウェアの「dbt Core」の2種類が提供されており、SQLをベースとしたデータウェアハウスを構築するためのツールとして、データエンジニアを中心に幅広く使われています。

今回の連携により、COMETA®でdbtを使ったカラムリネージ（※1）が利用できるようになります。これまでCOMETA®でカラムリネージを利用するには、primeNumberのデータ基盤総合支援サービス「TROCCO®（トロッコ）」を併用する必要がありましたが、dbtメタデータ連携によってCOMETA®の画面上でカラムリネージを確認できます。

お客さまはdbtを通じてカラムリネージを取得し、データ同士の依存関係を簡単に把握できます。これにより基盤の全体像を把握、管理することで、障害発生時に影響範囲を迅速に確認し、データの信頼性を向上させることが可能となります。

（※1）カラムリネージ（データリネージ）：データがどのような経緯で取得され、どのような分析を行うのかといった一連の流れを管理することで、データの信頼性向上やエラーへの対処を行うための機能。詳細はprimeNumberの解説をご覧ください。

データリネージ（Data Lineage）とは？データマネジメントに欠かせないデータリネージについて解説 | TROCCO®(トロッコ)

https://blog.trocco.io/glossary/data-lineage

機能概要

カラムリネージのサポート

dbtによって生成されたSQLクエリを解析することで、カラムレベルのリネージ情報を提供します。COMETA®がカタログ化したテーブルの詳細ページそれぞれからカラムリネージ情報にアクセスでき、実際にそのテーブルがどのようなSQLにより生成され、どのようなテーブルが参照されているかを簡単に確認できます。

dbtで管理しているメタデータの取り込みと検索

dbtプロジェクトで管理しているテーブルの説明やタグなどの情報をCOMETA®が取り込むことで、検索機能を使って簡単に目的のデータにアクセスできるようになります。

連携の設定

COMETA®はお客様のdbtプロジェクトが生成する成果物を参照することで、メタデータを取り込みます。お客様のファイルストレージ（S3）にdbtの成果物を定期的に転送いただき、COMETA®上でそのファイルストレージへの認証情報などを設定することで、COMETA®は最新の成果物からdbtのメタデータを取得できるようになります。

今後もprimeNumberはCOMETA®の機能を充実させ、お客さまがCOMETA®を最適なサービスと組み合わせながらデータ活用を推進できるよう支援いたします。

データの発見・理解・活用を促進するデータカタログ「COMETA®」とは

データの発見・理解・活用に重点を置いたデータカタログサービスです。保有するデータの活用リードタイム短縮、ガバナンス、品質モニタリングを可能にし、データによる意思決定を行う文化を醸成します。また、データ活用のフェーズや、部署横断など社内でのデータ活用の展開範囲に応じたご利用が可能なよう、小さく始めて順次拡張いただける料金体系にてサービスを提供いたします。同時に、COMETA®の提供のみにとどまらず、primeNumberが有する他ソリューションを並行して活用する包括的なサポートも提供してまいります。

URL：https://primenumber.com/cometa