データリネージ()は、データがどこで生成され、どのような処理を経て移動・変換され、どこに現れたかという系統を記録し、たどれるようにする仕組みおよびその情報である。メタデータ(データについてのデータ)の一種として扱われる。下流で見つかったデータの誤りの発生元をたどる原因分析と、上流の変更が下流のどこに及ぶかを調べる影響分析に用いられる。

概要 TechTargetは、データリネージを、情報がたどった道のりを時間の経過に沿って追跡・文書化・可視化する手続きとし、データがいつどこで生成され、システムの間をどのように移動し、どのように、なぜ変更または変換され、どこに現れたかを含むと説明している。同媒体は、この手続きが、データの流れを平易に伝え、そのライフサイクル、すなわち生成からアーカイブ(長期保存)までの一連の過程への見通しをもたらすことを目的とするとしている。

ラジェンドラ・ボーズ(Rajendra Bose)とジェームズ・フルー(James Frew)は2005年の調査論文で、リネージ(lineage)の語を由来とその後の処理履歴の意で用い、科学研究がデータ集合の流通と交換に依拠しているため、科学データのリネージを正確にたどることが科学的業績の記録のために求められるとしている。

データリネージと近い語として、データプロビナンス(data provenance)がある。ヨゲシュ・L・シムハン(Yogesh L. Simmhan)らは2005年の調査論文で、データプロビナンスをメタデータの一種であり、データ生成物の派生の履歴を元の情報源からたどるものと説明している。

TechTargetは、データリネージがデータの取り扱いと利用の記録をもたらし、監査や、法令や規格への適合(コンプライアンス)の手続きを簡素化する助けになるとしている。

森西利匡らは2026年の論文で、流域のデジタルツインの実現に向けたデータ連携技術として、ETL(抽出・変換・格納)を中核とする仕組みを試行的に実装し、データリネージによる処理過程の可視化・追跡によって信頼性を確保したと報告している。

主な要素 記録する対象 オープンな標準であるOpenLineageの公式文書は、データ集合(dataset)・ジョブ(job)・実行(run)という3つの実体からなる中核モデルを定め、それぞれを一貫した命名規則で一意に識別すると説明している。同モデルは、ファセット(facet)と呼ぶ利用者定義のメタデータによって拡張できるとする。同標準はファセットの一つとして、データ集合の依存関係を細かい粒度で示す列レベルのリネージ(column level lineage)を定めており、どの入力列がどの出力列を作るために使われたかを把握できるとしている。 収集方法 TechTargetは、データ集合の間の結び付きを手がかりに関係を見いだすパターンに基づく方式と、データ源の変換ロジックを逆にたどってデータの流れを図示する解析に基づく方式を挙げ、前者は単純である一方で具体性を欠くことがあり、後者はより正確になりうるが複雑になるとしている。また、データ処理の実行時に記録を出力させる方式として、LF AI & Data Foundationは、OpenLineageを、データ処理エンジンが実装することで、読み取っているデータ源・行っている処理の種類・結果の出力先の詳細を公開できる標準とAPIを提案するプロジェクトと説明している。 リネージの種類 TechTargetは、生成元から現在の状態までをたどる上流のリネージ、現在の状態から到達先までをたどる下流のリネージ、および両者を組み合わせた形を区別している。同媒体はまた、組織の枠組みの中で情報に文脈と関連性を与える業務リネージと、データ処理と変換の手順を細かく示す運用リネージを区別している。 可視化とメタデータ管理 TechTargetは、グラフ・フローチャート・図といった視覚的な要素でデータの流れを表す可視化を挙げ、技術者以外の利用者の理解を助けるとしている。同媒体は、データについての情報を分析し整理するメタデータ管理をデータリネージの構成部分としている。

展開 2000年代半ばには、科学データの処理を対象とするリネージやプロビナンスの調査論文が発表された。ボーズとフルーは2005年に『ACM Computing Surveys』へ調査論文を寄せ、当時のリネージ研究と試作されたシステムの調査に基づいて、科学データのリネージを検索できるシステムの基本的な構成要素を見分けるためのメタモデルを提示した。同じ2005年、シムハンらは『ACM SIGMOD Record』の調査論文で、グリッドの基盤と大容量の記憶装置を使う大規模な応用ではデータ管理が複雑になっており、データを識別し再利用するためにはメタデータが必要だとしたうえで、プロビナンスを扱うシステムを、なぜプロビナンスを記録するのか、何を記述するのか、どのように表現し保存するのか、どのように配布するのかという観点で分類する分類体系を示した。

2020年代には、複数のデータ処理基盤をまたいでリネージのメタデータを集める標準としてOpenLineageが整備され、その公式文書は同標準を、実行中のジョブについてメタデータを記録するために設計されたものと説明している。LF AI & Data Foundationによれば、OpenLineageは2021年5月に同財団のインキュベーション段階のプロジェクトとして寄贈され、2023年7月に卒業段階へ移行した。

関連する概念 TechTargetは、データ管理に関する語のうちデータリネージと重なりやすいものとして、情報を特定の性質に基づいて分類するデータ分類、情報の履歴と情報源の妥当性を記録するデータプロビナンス、およびデータが正確で安全であり、規格や要件に適合していることを確かにする枠組みを定めるデータガバナンスを挙げ、それぞれ役割が異なるとしている。データリネージとデータプロビナンスはしばしば互換的に用いられるが、同媒体は、前者がデータの道のりを俯瞰的(大まか)に示すのに対し、後者はデータの出所と情報源の真正性を確定する点で異なるとしている。またデータリネージのツールは、データの型・構造・値・量・適時性といった性質を記録することで、データ品質の評価や誤りの修正に用いる情報をもたらすとする。

関連項目 メタデータ データ品質 Extract/Transform/Load データウェアハウス データレイク データマスキング

脚注

参考文献

外部リンク OpenLineage - An open framework for data lineage collection and analysis(英語)