Điểm chất lượng dữ liệu và cách Ataccama tính

Bạn đã có quy tắc và đã đánh giá dữ liệu — vậy kết quả hiện ra dưới dạng gì để mọi người cùng đọc? Câu trả lời là điểm chất lượng dữ liệu (DQ score): một con số gói gọn “dữ liệu này tin được bao nhiêu phần”. Trang này giải thích cho người mới điểm được tính ra sao, tổng hợp từ thuộc tính lên tới nguồn thế nào, và vì sao việc Ataccama gắn điểm thẳng vào catalog và thuật ngữ nghiệp vụ chính là data governance trong thực tế.

Từ kết quả quy tắc đến điểm chất lượng

Mỗi khi một quy tắc chất lượng chạy trên một cột dữ liệu, nó phân loại từng bản ghi thành hợp lệ hoặc không hợp lệ. Điểm chất lượng đơn giản là biến kết quả đó thành một tỷ lệ:

Nếu có 10.000 số điện thoại và 9.200 cái đúng định dạng → điểm hợp lệ của cột đó là 92 phần trăm.
Còn 800 bản ghi sai chính là phần “trừ điểm”, và bạn xem được chính những bản ghi đó (bản ghi lỗi / invalid samples) để biết hỏng ở đâu.

Đây là bước biến câu nói mơ hồ “dữ liệu hơi bẩn” thành một con số theo dõi được theo thời gian. Tuần này 92 phần trăm, tháng sau tụt còn 85 phần trăm — bạn thấy ngay xu hướng và biết cần can thiệp.

Mỗi quy tắc gắn một chiều → điểm theo từng chiều

Một cột có thể tốt ở mặt này nhưng kém ở mặt khác, nên Ataccama không gộp tất cả vào một con số duy nhất mà chấm điểm theo từng chiều chất lượng (dimension). Vì mỗi quy tắc đã được gắn vào một chiều khi tạo, hệ thống cộng dồn kết quả đúng nhóm.

Ví dụ cùng một cột “số điện thoại khách hàng” có thể có:

Đầy đủ (Completeness): 98 phần trăm — gần như khách nào cũng có số.
Hợp lệ (Validity): 92 phần trăm — vài số sai định dạng.
Duy nhất (Uniqueness): 99 phần trăm — rất ít số bị trùng.

Ba con số này kể ba câu chuyện khác nhau và gợi ý hành động khác nhau. Nếu chỉ có một điểm tổng “96 phần trăm”, bạn sẽ không biết nên đi sửa cái gì. Chấm theo chiều cho bạn bản đồ chính xác chỗ cần cải thiện.

Đi sâu: các chiều chất lượng dữ liệu Từng chiều — đầy đủ, hợp lệ, chính xác, nhất quán, duy nhất, kịp thời — giải thích kèm ví dụ Việt Nam.

Tổng hợp điểm: thuộc tính → tài sản → nguồn

Điểm không dừng ở mức một cột. Ataccama cuộn (tổng hợp) điểm lên các cấp cao hơn để lãnh đạo có cái nhìn từ tổng quan đến chi tiết:

Mức thuộc tính (attribute): điểm của riêng một cột, ví dụ cột email của bảng khách hàng.
Mức tài sản / catalog item: gộp điểm của nhiều cột trong cùng một bảng → “bảng Khách hàng đạt chất lượng bao nhiêu phần”.
Mức nguồn (source): gộp tiếp lên cả một hệ thống/nguồn dữ liệu → “toàn bộ dữ liệu từ CRM đáng tin tới đâu”.

Nhờ vậy bạn có thể bắt đầu từ một con số tổng ở mức nguồn, thấy nó thấp, rồi đi xuống dần (drill-down) để tìm đúng bảng nào, cột nào, chiều nào đang kéo điểm xuống. Từ một bức tranh lớn lần ra tận bản ghi lỗi cụ thể.

Trọng số: không phải quy tắc nào cũng đóng góp như nhau

Khi một cột hay một bảng có nhiều quy tắc, câu hỏi đặt ra là mỗi quy tắc đóng góp bao nhiêu vào điểm chung? Ataccama cho phép đặt trọng số (weight) để phản ánh mức độ quan trọng:

Một số quy tắc quan trọng sống còn (ví dụ: mã số thuế hợp lệ để xuất hóa đơn) nên có trọng số cao — sai là kéo điểm xuống mạnh.
Một số quy tắc ít nghiêm trọng hơn (ví dụ: có điền thêm tên gọi thân mật không) có trọng số thấp.

Nhờ trọng số, điểm chất lượng bám sát mức rủi ro nghiệp vụ thật thay vì coi mọi lỗi như nhau. Một bảng sai nhiều ở quy tắc nhỏ vẫn có thể đạt điểm khá; nhưng sai ở quy tắc trọng yếu thì điểm rớt rõ — đúng như cảm nhận của người làm nghiệp vụ.

Cách đọc điểm cho đúng

Đọc kèm chiều: “92 phần trăm” chưa nói gì nếu không biết là chiều nào. “92 phần trăm đầy đủ” nghĩa là 8 phần trăm bản ghi đang thiếu dữ liệu — khác hẳn “92 phần trăm hợp lệ” (sai định dạng).
Đọc kèm bối cảnh dùng: 95 phần trăm có thể là tuyệt vời cho danh sách gửi email khuyến mãi, nhưng không chấp nhận được cho dữ liệu xuất hóa đơn điện tử — nơi cần gần 100 phần trăm.
Nhìn xu hướng, không chỉ con số tại một thời điểm: điểm đang đi lên hay đi xuống quan trọng hơn giá trị tuyệt đối. Một đường điểm trượt dốc là dấu hiệu sớm của sự cố nguồn dữ liệu.
Từ điểm tới hành động: điểm thấp ở một chiều là kim chỉ nam đi tìm và xem bản ghi lỗi để sửa, chứ không phải con số để ngắm.

Vì sao điểm hiển thị thẳng trong catalog và theo thuật ngữ = đây chính là governance

Đây là điểm khiến Ataccama khác một công cụ kiểm dữ liệu thông thường. Điểm chất lượng không nằm trong một báo cáo riêng mà được gắn thẳng vào danh mục dữ liệu (catalog) và vào từng thuật ngữ nghiệp vụ (business term).

Hệ quả rất thực tế:

Một nhà phân tích mở catalog tìm bảng để làm báo cáo → thấy ngay điểm chất lượng bên cạnh mỗi bảng, biết bảng nào sạch để xài, bảng nào nên tránh. Không phải hỏi quanh hay tự đoán.
Lãnh đạo dữ liệu mở thuật ngữ “Email khách hàng” → thấy độ tin của toàn bộ dữ liệu mang nghĩa đó trên mọi hệ thống, vì quy tắc gán theo thuật ngữ áp khắp nơi.

Đó chính là data governance đang diễn ra: niềm tin vào dữ liệu trở nên nhìn thấy được, ngay tại nơi người ta dùng dữ liệu. Governance không còn là tài liệu chính sách nằm đâu đó, mà là con số xuất hiện đúng lúc người dùng cần ra quyết định “dữ liệu này có dùng được không”. Chất lượng và governance hợp làm một.

Một ví dụ Việt Nam xuyên suốt

Hình dung một chuỗi bán lẻ:

Cột “Mã số thuế” của bảng khách hàng doanh nghiệp được chấm: hợp lệ 90 phần trăm, đầy đủ 84 phần trăm. Quy tắc mã số thuế có trọng số cao vì liên quan xuất hóa đơn.
Cuộn lên mức bảng Khách hàng, điểm chung bị kéo xuống còn khoảng 88 phần trăm — chính vì cột mã số thuế nặng ký kéo theo.
Cuộn tiếp lên mức nguồn CRM, lãnh đạo thấy con số tổng và lần xuống đúng cột mã số thuế là thủ phạm.
Vì điểm hiện ngay trên catalog, đội kế toán chủ động thấy rủi ro trước khi hóa đơn bị từ chối, mở danh sách bản ghi lỗi và đi bổ sung mã số thuế còn thiếu.

Cùng một dữ liệu, nhưng nhờ điểm theo chiều, có trọng số, tổng hợp đa cấp và hiển thị tại chỗ — vấn đề được phát hiện và xử lý trước khi gây thiệt hại.

Các chiều chất lượng dữ liệu — hiểu kỹ từng chiều mà điểm dựa vào.
Đánh giá chất lượng & xem bản ghi lỗi — từ điểm thấp đi tới bản ghi lỗi cụ thể để sửa.
Chất lượng dữ liệu trong tổng thể data governance — bức tranh lớn: vì sao điểm tại chỗ chính là governance.