Bỏ qua để đến nội dung

Sáu chiều chất lượng dữ liệu — và cách Ataccama đo từng chiều

Khi ai đó nói “dữ liệu của mình hơi bẩn”, thật ra họ đang gộp nhiều vấn đề rất khác nhau vào một câu. Thiếu số điện thoại, sai định dạng email, hai bản ghi trùng một khách hàng, tồn kho cập nhật chậm — đó là những loại lỗi khác nhau, và muốn quản được thì phải gọi tên được. Trang này giải thích sáu chiều chất lượng dữ liệu (data quality dimensions) — bộ “thước đo” chuẩn để biến cảm giác mơ hồ thành thứ đo được — kèm ví dụ Việt Nam và cách Ataccama ONE đo từng chiều.

Vì sao cần “chiều” thay vì một con điểm duy nhất

Phần tiêu đề “Vì sao cần “chiều” thay vì một con điểm duy nhất”

Nếu chỉ có một con số “dữ liệu tốt 72 phần trăm”, bạn sẽ không biết phải sửa gì. Lỗi nằm ở chỗ thiếu dữ liệu? Sai định dạng? Hay trùng lặp? Chiều chất lượng chia bài toán lớn thành các góc nhìn nhỏ, mỗi góc trả lời đúng một câu hỏi — nhờ đó bạn biết vấn đề ở đâuai phải sửa.

Một điểm cực quan trọng cho người mới: một trường dữ liệu có thể tốt ở chiều này nhưng kém ở chiều khác. Cột số điện thoại có thể đầy đủ (không trường nào rỗng) nhưng không hợp lệ (nhiều số chỉ có 9 chữ số). Cột địa chỉ có thể hợp lệ về định dạng nhưng không chính xác (ghi đúng kiểu nhưng sai nơi khách thật sự ở). Vì vậy không thể đánh giá dữ liệu bằng một góc nhìn duy nhất.

Dưới đây là sáu chiều phổ biến nhất. Với mỗi chiều: định nghĩa ngắn → câu hỏi nó trả lời → ví dụ Việt Nam → cách Ataccama đo.

  • Là gì: mức độ dữ liệu có mặt — bao nhiêu trường được điền, bao nhiêu bị bỏ trống.
  • Câu hỏi nó trả lời: “Dữ liệu mình cần có thật sự ở đó không, hay đang thiếu?”
  • Ví dụ Việt Nam: trong 10.000 hồ sơ khách hàng, 18 phần trăm thiếu số điện thoại và 7 phần trăm thiếu mã số thuế. Khi cần gọi chăm sóc hay xuất hóa đơn, những bản ghi thiếu này lập tức thành điểm nghẽn.
  • Cách Ataccama đo: bạn tạo một DQ rule kiểu “trường này không được rỗng” và gắn nó vào chiều Tính đầy đủ. Ataccama chạy quy tắc trên toàn bộ cột, đếm tỷ lệ bản ghi đạt, rồi cộng dồn thành điểm đầy đủ cho cột đó. Bước profiling trước đó cũng cho bạn thấy ngay tỷ lệ rỗng của từng cột mà chưa cần viết quy tắc.
  • Là gì: mức độ dữ liệu tuân theo định dạng, kiểu, hoặc quy tắc đã quy ước.
  • Câu hỏi nó trả lời: “Giá trị này có đúng khuôn không?” (đúng định dạng, đúng miền giá trị cho phép).
  • Ví dụ Việt Nam: email phải đúng dạng ten@mien.com; mã số thuế doanh nghiệp phải đủ 10 hoặc 13 chữ số; mã tỉnh/thành phải nằm trong danh mục hành chính chuẩn. Một email ghi “abc@@gmail” là không hợp lệ dù ô đó không hề rỗng.
  • Cách Ataccama đo: đây là “sân nhà” của DQ rule. Bạn định nghĩa quy tắc bằng biểu thức (so khớp mẫu, kiểm tra độ dài, đối chiếu danh mục giá trị hợp lệ) và gắn vào chiều Tính hợp lệ. Mỗi bản ghi được chấm đạt hoặc không đạt; những bản ghi trượt được giữ lại thành invalid samples để bạn xem tận mắt cái sai.
  • Là gì: mức độ dữ liệu khớp với sự thật ngoài đời.
  • Câu hỏi nó trả lời: “Giá trị này có đúng với thực tế không?”
  • Ví dụ Việt Nam: địa chỉ ghi đúng định dạng nhưng khách đã chuyển nhà — hợp lệ nhưng không chính xác. Tên công ty trong hệ thống là “Cty TNHH ABC” trong khi giấy phép kinh doanh ghi “Công ty TNHH Thương mại ABC”.
  • Cách Ataccama đo: chính xác là chiều khó đo nhất, vì máy không tự biết “sự thật ngoài đời”. Cách thực tế là đối chiếu với nguồn tham chiếu đáng tin — ví dụ so địa chỉ với danh mục địa giới chuẩn, hoặc so mã số thuế với dữ liệu đăng ký doanh nghiệp. Trong Ataccama, bạn gắn quy tắc đối chiếu vào chiều Tính chính xác; phần còn lại cần con người và quy trình khắc phục để xác minh.
  • Là gì: mức độ cùng một thông tin khớp nhau khi xuất hiện ở nhiều nơi.
  • Câu hỏi nó trả lời: “Các bản sao của cùng dữ liệu có mâu thuẫn nhau không?”
  • Ví dụ Việt Nam: ngày sinh khách hàng trên CRM khác trên hệ thống phát hành thẻ; doanh thu tháng trên báo cáo bán hàng lệch với sổ kế toán. Mỗi hệ thống “đúng theo cách của nó” nhưng đặt cạnh nhau thì không nhất quán.
  • Cách Ataccama đo: bạn viết quy tắc so sánh giữa các trường hoặc giữa các nguồn (ví dụ “ngày sinh ở nguồn A phải bằng nguồn B”, “tổng chi tiết phải bằng số tổng”) và gắn vào chiều Tính nhất quán. Khi dữ liệu nằm ở hệ thống khác nhau, tính năng đối soát dữ liệu (data reconciliation) giúp phát hiện và liệt kê đúng những bản ghi lệch.
  • Là gì: mức độ mỗi thực thể chỉ tồn tại một lần, không bị nhân bản.
  • Câu hỏi nó trả lời: “Có bao nhiêu bản ghi thật ra là cùng một đối tượng?”
  • Ví dụ Việt Nam: cùng một khách hàng tồn tại ba dòng — “Nguyễn Văn A”, “Nguyen Van A”, “NV A” — khiến marketing gửi ba lần, chăm sóc khách không thấy được lịch sử đầy đủ, và con số “tổng số khách hàng” bị thổi phồng.
  • Cách Ataccama đo: Ataccama có thể đo trùng theo trường khóa (ví dụ mã số thuế, số căn cước, email) và gắn vào chiều Tính duy nhất. Với trùng “mềm” — cùng người nhưng viết khác nhau — đây là cầu nối sang MDM (dữ liệu chủ): gom nhóm và hợp nhất bản ghi để tạo ra một “phiên bản vàng” duy nhất.
  • Là gì: mức độ dữ liệu đủ mới để dùng cho thời điểm bạn cần.
  • Câu hỏi nó trả lời: “Dữ liệu này có còn phản ánh hiện tại không, hay đã cũ?”
  • Ví dụ Việt Nam: tồn kho trên hệ thống còn hàng nhưng thực tế đã hết từ sáng → nhận đơn rồi không giao được; tỷ giá dùng để xuất hóa đơn lấy từ hôm qua. Dữ liệu đúng tại thời điểm ghi, nhưng không còn kịp thời.
  • Cách Ataccama đo: thường đo qua độ trễ — khoảng cách giữa thời điểm dữ liệu được cập nhật và thời điểm sử dụng. Bạn có thể viết quy tắc kiểu “bản ghi phải được cập nhật trong vòng N giờ” và gắn vào chiều Tính kịp thời; phần giám sát liên tục (Data Observability) sẽ cảnh báo khi một nguồn ngừng được làm mới như thường lệ.

Cách Ataccama gắn quy tắc vào chiều và tính điểm

Phần tiêu đề “Cách Ataccama gắn quy tắc vào chiều và tính điểm”

Đây là ý tưởng cốt lõi nối toàn bộ sáu chiều lại với nhau:

  • Mỗi DQ rule được gán đúng một chiều. Khi tạo quy tắc, bạn chọn nó thuộc chiều nào (đầy đủ, hợp lệ, chính xác, nhất quán, duy nhất, hay kịp thời).
  • Điểm được tổng hợp theo chiều. Ataccama chạy mọi quy tắc, rồi cộng kết quả lại thành điểm chất lượng theo từng chiều một điểm tổng cho tài sản dữ liệu. Nhờ đó bạn đọc được “cột này: đầy đủ 98 phần trăm, hợp lệ 81 phần trăm, duy nhất 100 phần trăm” — biết ngay phải tập trung sửa chiều nào.
  • Danh sách chiều tùy biến được. Sáu chiều ở trên là chuẩn phổ biến, nhưng không phải con số bắt buộc. Mỗi tổ chức có thể thêm, bớt hoặc đổi tên chiều cho hợp ngôn ngữ nội bộ (ví dụ tách riêng “Tính toàn vẹn” hay gộp vài chiều). Ataccama cho phép cấu hình bộ chiều này để khớp với cách doanh nghiệp bạn đã quen gọi.

Lỗi hay gặp khi mới làm chất lượng dữ liệu

Phần tiêu đề “Lỗi hay gặp khi mới làm chất lượng dữ liệu”
  • Nhầm “hợp lệ” với “chính xác”: dữ liệu đúng định dạng chưa chắc đúng sự thật. Đừng dừng ở kiểm tra khuôn mẫu.
  • Bỏ quên tính duy nhất: trùng lặp âm thầm làm sai mọi báo cáo đếm số — nhưng dễ bị xem nhẹ vì “nhìn từng dòng vẫn thấy đúng”.
  • Quên tính kịp thời: nhiều đội chỉ đo dữ liệu tĩnh mà không hỏi “dữ liệu này cập nhật lần cuối khi nào?”.
  • Áp một bộ chiều cứng cho mọi nơi: mức “đủ tốt” của mỗi chiều phụ thuộc mục đích dùng — chuẩn cho hóa đơn khác chuẩn cho email khuyến mãi.
Chia sẻ: