Nguồn gốc dữ liệu (Data Lineage) trong Ataccama ONE — Tổng quan
Nguồn gốc dữ liệu (Data Lineage) là tấm bản đồ cho biết dữ liệu đi từ đâu, qua những biến đổi nào, và chảy tới đâu — từ hệ thống nguồn, qua các bước xử lý, tới bảng báo cáo và dashboard. Bộ hướng dẫn này viết cho người mới: lineage là gì, Ataccama ONE dựng nó ra sao, dùng để làm gì, và phục vụ data governance như thế nào.
Lineage giải bài toán gì?
Phần tiêu đề “Lineage giải bài toán gì?”Khi một con số trên báo cáo trông sai, câu hỏi đầu tiên là “số này tính từ đâu ra?” — và thường không ai trả lời nhanh được, vì dữ liệu đã đi qua chục bước xử lý ở nhiều hệ thống. Ngược lại, khi muốn đổi một bảng nguồn, không ai dám chắc “đổi cái này thì báo cáo nào hỏng?”.
Data lineage giải đúng hai bài toán đó: lần ngược về nguồn để truy lỗi, và nhìn xuôi xuống để biết cái gì phụ thuộc trước khi thay đổi. Nếu catalog cho biết dữ liệu ở đâu và chất lượng cho biết nó có sạch không, thì lineage cho biết nó từ đâu tới và đi đâu — mảnh ghép tạo nên minh bạch và niềm tin trong governance.
Bộ hướng dẫn này gồm những gì
Phần tiêu đề “Bộ hướng dẫn này gồm những gì”Phần 1 — Khái niệm
Phần 2 — Lineage hoạt động thế nào
- Ataccama tạo lineage thế nào
- Đọc đồ thị lineage: thượng nguồn và hạ nguồn
- Lineage cấp cột (column-level)
- Lineage và kế hoạch biến đổi dữ liệu
Phần 3 — Ứng dụng thực tế
- Phân tích tác động (impact analysis)
- Truy nguyên gốc lỗi (root cause)
- Lineage cho tuân thủ và kiểm toán
- Business lineage: lineage cho người không kỹ thuật
Phần 4 — Bức tranh lớn & triển khai