Lineage nâng cao (OpenLineage, Spark, Spline)
Để lineage đầy đủ, cần bắt cả dòng chảy trong job xử lý dữ liệu (Spark, ETL) — OpenMetadata hỗ trợ qua nhiều cơ chế nâng cao.
Các nguồn lineage nâng cao
Phần tiêu đề “Các nguồn lineage nâng cao”- OpenLineage: chuẩn mở thu thập lineage từ nhiều công cụ → đẩy vào OpenMetadata.
- Spark Lineage: bắt lineage từ job Apache Spark.
- Spline: thu thập lineage Spark qua Spline.
- Airflow Lineage Backend/Operator: lấy lineage từ DAG Airflow.
Vì sao cần
Phần tiêu đề “Vì sao cần”- Nhiều biến đổi diễn ra trong Spark/ETL, không phải SQL thuần — query parsing không thấy.
- Các cơ chế này bắt lineage ngay trong runtime xử lý → chính xác hơn.
Chọn cơ chế
Phần tiêu đề “Chọn cơ chế”| Hệ thống | Cơ chế phù hợp |
|---|---|
| Spark | Spark Lineage hoặc Spline |
| Đa công cụ | OpenLineage (chuẩn chung) |
| Airflow | Airflow lineage backend/operator |
Kết hợp toàn cảnh
Phần tiêu đề “Kết hợp toàn cảnh”Ghép các nguồn: query/view + pipeline/dbt + Spark/OpenLineage + bổ sung tay → bức tranh lineage liền mạch.