Dữ liệu tham chiếu chuẩn hóa trong MDM (Reference Data)
Khi nói về dữ liệu chủ, người ta hay nghĩ ngay đến khách hàng hay sản phẩm. Nhưng có một loại dữ liệu khác lặng lẽ làm “chất keo” gắn mọi thứ lại với nhau: dữ liệu tham chiếu (reference data). Đó là những danh mục mã chuẩn — mã quốc gia, mã tỉnh/thành, mã ngành nghề, đơn vị tiền tệ — được dùng đi dùng lại trong gần như mọi bản ghi. Nếu các danh mục này không thống nhất, ngay cả một bản ghi vàng đẹp đẽ cũng vẫn lủng củng ở những trường nhỏ mà quan trọng. Trang này giải thích dữ liệu tham chiếu là gì, vì sao MDM cần đến nó, và quản lý phiên bản danh mục mã ra sao.
Dữ liệu tham chiếu là gì
Phần tiêu đề “Dữ liệu tham chiếu là gì”Dữ liệu tham chiếu (reference data) là những danh mục mã chuẩn dùng chung để phân loại và mô tả các dữ liệu khác. Quản lý các danh mục này một cách có hệ thống gọi là quản lý dữ liệu tham chiếu (RDM — Reference Data Management).
Đặc điểm của dữ liệu tham chiếu:
- Tập giá trị hữu hạn, biết trước. Khác với tên khách hàng (gần như vô hạn cách viết), một danh mục tham chiếu có số lượng giá trị giới hạn và được định nghĩa rõ.
- Mỗi mục thường gồm một mã và một nhãn. Ví dụ mã
VNứng với nhãnViệt Nam; mã79ứng vớiThành phố Hồ Chí Minh. - Dùng chung khắp nơi. Cùng một danh mục được tham chiếu bởi nhiều hệ thống và nhiều bản ghi.
Vài ví dụ quen thuộc:
- Mã quốc gia:
VN(Việt Nam),US(Hoa Kỳ),JP(Nhật Bản) — theo chuẩn quốc tế. - Mã tỉnh/thành: danh mục đơn vị hành chính Việt Nam, ví dụ
01Hà Nội,79TP.HCM. - Mã ngành nghề: danh mục ngành kinh tế (như hệ thống ngành kinh tế Việt Nam — VSIC).
- Đơn vị tiền tệ:
VND,USD,EUR.
Nói cho dễ hình dung: nếu dữ liệu chủ là “ai/cái gì” (khách hàng, sản phẩm), thì dữ liệu tham chiếu là “bộ từ điển phân loại chuẩn” mà dữ liệu chủ tra vào để điền các trường mã.
Phân biệt với dữ liệu chủ và dữ liệu giao dịch
Phần tiêu đề “Phân biệt với dữ liệu chủ và dữ liệu giao dịch”Để khỏi nhầm, có thể đặt ba loại cạnh nhau:
- Dữ liệu chủ: các thực thể cốt lõi — một khách hàng, một sản phẩm cụ thể.
- Dữ liệu giao dịch: các sự kiện — một đơn hàng, một lần thanh toán.
- Dữ liệu tham chiếu: các danh mục mã chuẩn để phân loại hai loại trên — quốc gia, tỉnh/thành, ngành, tiền tệ.
Trang phân biệt dữ liệu chủ, giao dịch và tham chiếu đi sâu hơn vào ranh giới này.
Vì sao MDM cần dữ liệu tham chiếu
Phần tiêu đề “Vì sao MDM cần dữ liệu tham chiếu”Mục tiêu của MDM là tạo ra bản ghi vàng nhất quán cho toàn tổ chức. Nhưng một bản ghi vàng có nhiều trường, và một số trường trong đó chính là trường mã trỏ tới danh mục tham chiếu — quốc gia, tỉnh/thành, ngành nghề, loại tiền. Nếu các trường mã này mỗi hệ thống ghi một kiểu, bản ghi vàng vẫn chưa thật sự “vàng”.
Hãy xem một trường rất đời thường: tỉnh/thành. Cùng một địa phương nhưng được nhập đủ kiểu:
TP.HCMHồ Chí MinhHCMTp Ho Chi MinhSài Gòn
Năm chuỗi này nói về cùng một nơi, nhưng với máy chúng là năm giá trị khác nhau. Hậu quả:
- Báo cáo sai: thống kê “doanh thu theo tỉnh/thành” tách một địa phương thành nhiều dòng → con số lệch.
- Đối sánh khó hơn: khi MDM so khớp khách hàng, trường địa chỉ lủng củng làm giảm độ tin cậy của phép khớp.
- Khó tích hợp: mỗi hệ thống hiểu một kiểu, trao đổi dữ liệu giữa chúng phải dịch tới dịch lui.
Dữ liệu tham chiếu giải đúng chỗ này: định nghĩa một mã chuẩn duy nhất cho mỗi địa phương, rồi chuẩn hóa mọi cách viết về mã chuẩn đó. Năm cách viết trên cùng được ánh xạ về một mã (ví dụ mã 79), và bản ghi vàng chỉ lưu mã chuẩn này. Nhờ vậy:
- Trường mã trong bản ghi vàng trở nên nhất quán toàn tổ chức — ai đọc, hệ thống nào đọc cũng hiểu giống nhau.
- Báo cáo gộp đúng, vì mọi bản ghi của cùng địa phương đều mang cùng một mã.
- Bước đối sánh sạch hơn, vì các trường mã không còn là nguồn nhiễu.
Cũng đáng nhấn mạnh: RDM bổ trợ cho chất lượng dữ liệu trong MDM. Chuẩn hóa các trường mã là một phần của làm sạch dữ liệu trước khi gộp — chỉ khác ở chỗ nó dựa vào những danh mục chuẩn được quản lý tập trung.
Quản lý phiên bản danh mục mã
Phần tiêu đề “Quản lý phiên bản danh mục mã”Có một điểm dễ bị xem nhẹ: danh mục mã không bất biến — chúng thay đổi theo thời gian. Đơn vị hành chính được sáp nhập hay đổi tên, danh mục ngành nghề được cập nhật, một loại tiền tệ ngừng lưu hành. Vì vậy, một phần quan trọng của RDM là quản lý phiên bản (versioning) danh mục mã.
Quản lý phiên bản tốt thường bao gồm:
- Lưu lịch sử thay đổi: biết được mã nào được thêm, đổi tên hay ngừng dùng vào thời điểm nào — quan trọng khi cần đối chiếu lại báo cáo cũ.
- Hiệu lực theo thời gian: một mã có thể đúng ở năm này nhưng đã thay đổi ở năm sau; danh mục cần phản ánh điều đó để dữ liệu lịch sử vẫn được hiểu đúng theo bối cảnh của nó.
- Quy trình duyệt thay đổi: ai được phép sửa danh mục chuẩn, ai phê duyệt — để danh mục dùng chung không bị sửa tùy tiện.
- Ánh xạ giữa các danh mục: ví dụ ánh xạ mã nội bộ của doanh nghiệp sang một mã theo chuẩn quốc tế, để vừa dùng được nội bộ vừa trao đổi được ra ngoài.
Ví dụ Việt Nam rất rõ: khi địa giới hành chính cấp huyện/xã được sắp xếp lại, một số mã cũ không còn, mã mới xuất hiện. Nếu danh mục tham chiếu được quản lý phiên bản đàng hoàng, doanh nghiệp vừa cập nhật được dữ liệu mới theo chuẩn mới, vừa giữ được khả năng đọc đúng các bản ghi và báo cáo từ trước thời điểm thay đổi.
Trong Ataccama ONE, việc quản lý các danh mục mã chuẩn này thuộc về module dữ liệu tham chiếu (RDM) — nơi danh mục được lưu tập trung, có phiên bản, có quy trình duyệt, và được các luồng MDM cùng chất lượng dữ liệu dùng chung. Module này được giới thiệu kỹ hơn ở trang One RDM trong chức năng Ataccama.