Đối sánh và nhận diện trùng lặp (matching) trong MDM

Trong mọi doanh nghiệp, cùng một khách hàng thường xuất hiện ở nhiều nơi dưới nhiều bản ghi khác nhau: CRM ghi “Nguyễn Văn A”, kế toán ghi “Nguyen Van A”, phiếu bán hàng viết tắt “NV A”. Mắt người nhìn vào biết ngay đây là một người, nhưng máy tính thì không — với máy, ba chuỗi ký tự đó hoàn toàn khác nhau. Đối sánh (matching) chính là cơ chế giúp máy làm được điều con người làm tự nhiên: nhận ra các bản ghi tuy viết khác nhau nhưng cùng trỏ về một thực thể. Trang này giải thích đối sánh trong MDM của Ataccama ONE cho người mới, kèm ví dụ quen thuộc ở doanh nghiệp Việt Nam.

Đối sánh là gì?

Đối sánh (matching) là bước trong MDM đi tìm tất cả các bản ghi cùng mô tả một thực thể — cùng một khách hàng, cùng một nhà cung cấp, cùng một sản phẩm — dù chúng nằm rải rác ở nhiều hệ thống và được nhập theo nhiều kiểu khác nhau. Đây là cơ chế lõi của MDM: chỉ khi gom đúng các bản ghi của cùng một thực thể lại với nhau, ta mới có thể gộp chúng thành một bản ghi vàng (golden record) duy nhất, tin cậy.

Hãy hình dung doanh nghiệp như một căn phòng đầy danh thiếp đổ lẫn vào nhau. Nhiều tấm thực ra là của cùng một người — tấm ghi đầy đủ, tấm viết tắt, tấm sai một chữ. Đối sánh là việc xếp chúng thành từng chồng, mỗi chồng là một con người thật; xếp xong, ta mới gộp mỗi chồng lại thành một hồ sơ chuẩn.

Điều khiến đối sánh khó là dữ liệu đời thực gần như không bao giờ trùng khít:

Tên viết có dấu và không dấu: “Nguyễn Văn A” so với “Nguyen Van A”.
Viết tắt, thiếu chữ đệm: “NV A”, “Nguyễn A”.
Sai chính tả khi nhập tay: “Nguyển Văn A”, “Nguyen Vann A”.
Địa chỉ mỗi nơi một kiểu: “12 Lê Lợi, P. Bến Nghé, Q.1” so với “12 Le Loi, Phường Bến Nghé, Quận 1, TP.HCM”.
Số điện thoại có/không mã vùng, có/không số 0 đầu: “0901234567” so với “+84901234567”.

Nếu chỉ so sánh “y hệt từng ký tự”, máy sẽ coi tất cả những cặp trên là khác nhau — và doanh nghiệp tiếp tục sống chung với trùng lặp. Vì thế đối sánh cần thông minh hơn so sánh thuần túy.

So khớp chính xác và so khớp mờ (fuzzy)

Có hai cấp độ so khớp, và một hệ MDM tốt dùng cả hai.

So khớp chính xác (exact matching)

So khớp chính xác là khi hai bản ghi trùng khít ở một trường định danh đáng tin — ví dụ cùng số CCCD, cùng mã số thuế, cùng email. Khi có một định danh như vậy và nó đáng tin, kết luận “đây là cùng một thực thể” gần như chắc chắn. So khớp chính xác nhanh, rẻ và ít sai — nhưng chỉ dùng được khi dữ liệu có sẵn những định danh sạch và đầy đủ, điều mà thực tế hiếm khi đạt được (nhiều bản ghi thiếu CCCD, email gõ sai, mã số thuế bỏ trống).

So khớp mờ (fuzzy matching)

Đây mới là phần làm nên sức mạnh thật sự của đối sánh. So khớp mờ (fuzzy matching) không đòi hai bên giống hệt; nó đánh giá hai bản ghi giống nhau đến mức nào rồi quyết định có phải cùng một thực thể không, xử lý đúng những tình huống “lệch một chút” kể trên:

Chuẩn hóa trước khi so: bỏ dấu, đưa về chữ thường, quy chuẩn dạng số điện thoại và địa chỉ — để “Nguyễn Văn A” và “nguyen van a” về cùng một dạng nền trước khi đối chiếu.
Đo độ tương đồng: thay vì hỏi “có giống hệt không”, nó hỏi “giống bao nhiêu phần trăm”, chấp nhận sai vài ký tự, thiếu chữ đệm, hay đảo thứ tự họ–tên.
Khớp nhiều trường cùng lúc: cân nhắc đồng thời tên, ngày sinh, số điện thoại, địa chỉ — nhiều trường gần khớp cộng lại là bằng chứng mạnh hơn nhiều so với một trường đơn lẻ.

Ví dụ: “Nguyễn Văn A, sinh 1985, ĐT 0901234567” và “Nguyen Van A, 1985, 901234567” không trùng từng ký tự ở bất kỳ trường nào, nhưng so khớp mờ thấy cả ba trường đều rất gần — và kết luận đây nhiều khả năng là một người.

Vai trò của AI/ML trong đối sánh của Ataccama

Viết tay từng luật so khớp mờ (“nếu tên giống trên 90% và ngày sinh trùng thì coi là một”) rất tốn công và dễ bỏ sót. Đây là chỗ AI/ML tạo khác biệt trong đối sánh tăng cường của Ataccama ONE:

Học từ ví dụ thay vì chỉ theo luật cứng: mô hình học từ những cặp đã được xác nhận “đúng là một / không phải một” để nhận diện các mẫu trùng lặp tinh vi mà luật thủ công khó bao quát.
Khớp tốt hơn theo thời gian: mỗi lần data steward duyệt một cặp nghi ngờ (xác nhận hoặc bác bỏ) là một tín hiệu phản hồi; hệ thống dùng nó để đối sánh ngày càng chuẩn, hợp với đặc thù dữ liệu của chính doanh nghiệp.
Giảm đồng thời hai loại lỗi: đối sánh luôn phải cân giữa bỏ sót (là một mà không nhận ra → còn trùng lặp) và nhầm (gộp hai người khác nhau thành một → sai nghiêm trọng). AI/ML đẩy lùi cả hai so với chỉ dùng luật cứng — bắt nhiều cặp đúng hơn mà ít gộp nhầm hơn.

Một điểm quan trọng cho governance: AI/ML ở đây hỗ trợ con người, không thay con người. Máy đề xuất; những trường hợp không chắc chắn vẫn cần người có thẩm quyền xem và quyết.

Ngưỡng tin cậy: chắc chắn, nghi ngờ, không khớp

Vì so khớp mờ cho ra một mức độ giống nhau chứ không phải câu trả lời tuyệt đối “có/không”, đối sánh thường chia kết quả thành ba vùng theo ngưỡng tin cậy:

Chắc chắn khớp (auto-merge): độ tương đồng rất cao, vượt ngưỡng trên. Hệ thống tự tin coi là cùng một thực thể và có thể tự động gộp, không cần người duyệt.
Nghi ngờ (vùng cần xem xét): độ tương đồng ở khoảng giữa — giống nhiều nhưng chưa đủ chắc. Đây là vùng xám, máy không tự quyết.
Không khớp (no-match): độ tương đồng thấp, dưới ngưỡng dưới. Hệ thống coi là hai thực thể khác nhau.

Hai vùng đầu–cuối có thể xử lý tự động. Nhưng chính vùng nghi ngờ ở giữa là nơi cần con người — cụ thể là data steward.

Vì sao vùng nghi ngờ cần data steward duyệt?

Gộp nhầm hai khách hàng khác nhau, hay bỏ sót hai bản ghi của cùng một người, đều gây hậu quả thật: gửi nhầm thông tin, tính sai công nợ, báo cáo sai số khách hàng. Với những cặp “giống nhưng chưa chắc”, để máy tự quyết thì quá rủi ro, mà bỏ qua thì lọt trùng lặp. Lời giải là đưa đúng những cặp này cho data steward — người am hiểu nghiệp vụ — xem xét và quyết “gộp” hay “không gộp”.

Cách phân vùng này rất hiệu quả: phần lớn cặp rõ ràng được tự động hóa, công sức con người chỉ dồn vào số ít trường hợp thật sự khó. Và mỗi quyết định của steward lại thành dữ liệu học giúp lần sau máy chính xác hơn — vòng lặp càng chạy, vùng nghi ngờ càng thu hẹp.

Ví dụ ở doanh nghiệp Việt Nam

Gom khách hàng “Nguyễn Văn A”. Một ngân hàng có cùng một khách trong ba hệ thống: tài khoản tiết kiệm ghi “Nguyễn Văn A”, hồ sơ vay ghi “Nguyen Van A”, còn ứng dụng mobile lưu “NV A”. Cả ba có cùng số CCCD nhưng một bản ghi bỏ trống trường đó. Đối sánh dùng so khớp chính xác trên CCCD để gom hai bản ghi đầu, rồi dùng so khớp mờ trên tên + ngày sinh + số điện thoại để kéo bản ghi “NV A” còn lại vào. Kết quả: một khách hàng duy nhất — điều kiện tiên quyết cho KYC và đánh giá rủi ro đúng.

Khử trùng nhà cung cấp. Phòng mua hàng phát hiện cùng một nhà cung cấp bị nhập ba lần với ba cách viết tên khác nhau, khiến công nợ và hạn mức bị chia nhỏ sai. Đối sánh mờ trên tên công ty kết hợp so khớp chính xác trên mã số thuế gom đúng ba bản ghi về một, trả lại bức tranh công nợ chính xác.

Sáp nhập hai tập khách hàng (M&A). Sau khi mua lại một công ty, doanh nghiệp phải trộn hai danh sách khách hàng nhập theo chuẩn khác nhau. Đối sánh tăng cường AI/ML đề xuất các cặp trùng; cặp chắc chắn được gộp tự động, còn vùng nghi ngờ chuyển cho data steward duyệt — giúp dự án hợp nhất nhanh mà vẫn an toàn.

Gộp bản ghi và quy tắc sống sót (survivorship) Sau khi đối sánh xác định các bản ghi cùng một thực thể, bước tiếp theo là gộp chúng và chọn giá trị nào 'sống sót'.

Data steward và quy trình duyệt thủ công Ai là người xử lý vùng nghi ngờ, và quy trình duyệt cặp trùng lặp diễn ra thế nào.

Chất lượng dữ liệu là gì Vì sao dữ liệu sạch là điều kiện để đối sánh chính xác.