Lineage Ingestion Workflow
Lineage workflow tự động dựng dòng chảy dữ liệu — nguồn → biến đổi → đích — bằng cách phân tích truy vấn, view và pipeline.
Nguồn dựng lineage
Phần tiêu đề “Nguồn dựng lineage”- Truy vấn (query log): phân tích SQL để suy quan hệ bảng → bảng.
- View/định nghĩa: view phụ thuộc bảng nào.
- Pipeline (connector pipeline): đọc/ghi bảng nào.
- dbt: lineage rõ ràng từ mô hình (dbt workflow).
- Spark/OpenLineage/Spline: từ job xử lý dữ liệu.
Lineage mức cột
Phần tiêu đề “Lineage mức cột”OpenMetadata hỗ trợ column-level lineage — không chỉ “bảng A → bảng B” mà “cột A.x → cột B.y”. Cực kỳ giá trị cho phân tích tác động chi tiết.
Query Filtering
Phần tiêu đề “Query Filtering”- Lọc bớt truy vấn nhiễu để lineage chính xác, không “rối như mạng nhện”.
Quan hệ với phần Khám phá
Phần tiêu đề “Quan hệ với phần Khám phá”Workflow này dựng lineage; cách đọc, duyệt và chỉnh lineage trên UI nằm ở phần Lineage tổng quan.