Gắn thuật ngữ vào dữ liệu: tạo lớp ngữ nghĩa cho catalog

Một danh mục dữ liệu (data catalog) đầy đủ bảng và cột vẫn chưa đủ để mọi người hiểu dữ liệu nói gì. Bạn nhìn thấy một cột tên cust_no, cột khác tên customer_code, cột thứ ba tên ma_kh — ba cái tên kỹ thuật khác nhau, nhưng về nghiệp vụ chúng đều là “mã khách hàng”. Máy tính không tự biết điều đó, người mới vào công ty càng không. Khoảng cách giữa “tên cột trong cơ sở dữ liệu” và “ý nghĩa nghiệp vụ thật sự” chính là khoảng cách mà bước gắn thuật ngữ lấp đầy. Trang này giải thích việc nối các thuật ngữ nghiệp vụ trong từ điển với dữ liệu thật trong catalog, để dữ liệu không còn là những cái tên vô hồn mà trở thành thông tin có nghĩa — cái mà giới làm dữ liệu gọi là lớp ngữ nghĩa (semantic layer).

Gắn thuật ngữ vào dữ liệu là gì?

Hãy nhớ lại hai mảnh ghép đã có trong catalog. Mảnh thứ nhất là business glossary (từ điển thuật ngữ nghiệp vụ) — nơi tổ chức định nghĩa rõ ràng các khái niệm như “Khách hàng”, “Mã số thuế”, “Doanh thu thuần”, “Khách hàng đang hoạt động”. Mảnh thứ hai là tài sản dữ liệu thật — những bảng, cột mà catalog đã quét và đưa vào, ví dụ cột mst trong bảng hoa_don của hệ thống kế toán.

Gắn thuật ngữ chính là động tác nối hai mảnh đó lại: bạn nói với catalog rằng “cột mst này chứa Mã số thuế đúng như định nghĩa trong từ điển”. Một cái nối tưởng nhỏ nhưng đổi cả bản chất: từ chỗ chỉ có một cái tên kỹ thuật, cột đó nay được “dán nhãn nghĩa”. Bất kỳ ai mở cột ra đều thấy ngay nó là Mã số thuế, kèm theo định nghĩa chuẩn, ai chịu trách nhiệm, và những quy tắc đi cùng khái niệm đó.

Khi làm việc này một cách có hệ thống trên toàn bộ catalog, bạn xây nên lớp ngữ nghĩa: một tầng ý nghĩa nghiệp vụ phủ lên trên tầng kỹ thuật. Người dùng nghiệp vụ làm việc ở tầng nghĩa (“tôi cần dữ liệu Doanh thu thuần”), còn hệ thống tự biết tầng nghĩa đó tương ứng với những cột vật lý nào ở bên dưới. Đây là điều biến một catalog từ “danh sách kỹ thuật khô khan” thành “bản đồ dữ liệu mà người không rành công nghệ vẫn đọc được”.

Vì sao lớp ngữ nghĩa lại quan trọng cho governance?

Trong data governance, mục tiêu lớn là để mọi người tìm được, hiểu được và tin được dữ liệu mà không phải hỏi vòng quanh. Lớp ngữ nghĩa phục vụ trực tiếp cả ba việc đó.

Tìm dữ liệu theo nghĩa nghiệp vụ. Người dùng không cần biết cột tên kỹ thuật là gì. Họ gõ khái niệm họ hiểu — “Mã số thuế”, “Số điện thoại khách hàng” — và catalog trả về mọi cột đã được gắn thuật ngữ đó, dù tên vật lý của chúng có lộn xộn đến đâu. Tìm theo ý nghĩa thay vì theo cú pháp là khác biệt cốt lõi giúp dữ liệu trở nên tự phục vụ (self-service).
Áp quy tắc chất lượng theo thuật ngữ. Khi một cột đã mang nghĩa “Email”, tổ chức có thể gắn sẵn quy tắc kiểm tra định dạng email vào chính thuật ngữ đó. Mọi cột được gắn “Email” tự động thừa hưởng quy tắc — không phải đi cấu hình lại từng cột một. Chất lượng dữ liệu chuyển từ làm thủ công rời rạc sang làm theo khái niệm, nhất quán toàn hệ thống.
Hiểu nhanh một cột lạ. Nhân viên mới mở một bảng chưa từng thấy, gặp cột dob. Nếu cột đó đã được gắn thuật ngữ “Ngày sinh”, họ hiểu ngay lập tức mà không cần đoán, không cần hỏi ai. Đây chính là kiểu kiến thức mà ở nhiều doanh nghiệp chỉ nằm trong đầu vài người lâu năm; lớp ngữ nghĩa đưa nó ra thành tài sản chung của tổ chức.

Nói gọn, lớp ngữ nghĩa biến tri thức ngầm (“cột này thật ra là cái này”) thành tri thức tường minh, lưu lại được, dùng chung được. Đó là nền tảng để governance không phụ thuộc vào trí nhớ con người.

Một thuật ngữ, gắn nhiều cột — và vì sao điều đó hữu ích

Trong thực tế, cùng một khái niệm nghiệp vụ thường nằm rải rác ở rất nhiều nơi. “Mã số thuế” có thể xuất hiện trong bảng hóa đơn của kế toán, bảng đối tác của hệ thống mua hàng, bảng khách hàng doanh nghiệp của CRM, và cả file Excel của phòng kinh doanh. Tên cột mỗi nơi một kiểu: mst, tax_code, ma_so_thue, taxno.

Sức mạnh của việc gắn thuật ngữ là một thuật ngữ có thể gắn vào nhiều cột cùng lúc. Bạn gắn “Mã số thuế” lên tất cả những cột nói trên, và lập tức:

Quản lý nhất quán. Tất cả đều quy về một định nghĩa chuẩn duy nhất. Nếu mai này tổ chức tinh chỉnh định nghĩa hoặc đổi quy tắc kiểm tra cho Mã số thuế, thay đổi áp dụng đồng loạt cho mọi cột mang nghĩa đó — không sót, không lệch chỗ này một kiểu chỗ kia một kiểu.
Nhìn được bức tranh toàn cảnh. Từ trang của thuật ngữ “Mã số thuế”, người quản trị thấy ngay khái niệm này hiện diện ở bao nhiêu hệ thống, bao nhiêu bảng. Đó là thông tin cực kỳ giá trị cho bảo mật và tuân thủ: muốn biết dữ liệu nhạy cảm nằm đâu, cứ nhìn theo thuật ngữ.
Tra cứu hai chiều. Từ một cột bạn biết nó mang nghĩa gì; từ một nghĩa bạn biết nó nằm ở những cột nào. Mối liên kết hai chiều này là thứ giúp người dùng đi lại tự do giữa “ngôn ngữ nghiệp vụ” và “dữ liệu vật lý”.

Ataccama hỗ trợ gắn thuật ngữ như thế nào?

Trong Ataccama ONE, Knowledge Catalog xem việc gắn thuật ngữ là một phần trung tâm của quá trình làm giàu metadata, và đưa ra nhiều cách để việc này không trở thành gánh nặng thủ công khổng lồ.

Gắn thủ công

Cách trực tiếp nhất: người am hiểu nghiệp vụ — thường là chủ sở hữu dữ liệu (data owner) hoặc người phụ trách curation — mở một cột ra và gán thuật ngữ phù hợp cho nó. Cách này chính xác và đáng tin nhất vì có con người xác nhận, phù hợp với những dữ liệu quan trọng, nhạy cảm cần chắc chắn đúng. Nhược điểm là không thể làm tay cho hàng chục nghìn cột, nên thường dành cho các trường hợp then chốt hoặc để duyệt lại kết quả của các cách tự động.

Tự gán qua detection rules

Đây là điểm mạnh giúp gắn thuật ngữ ở quy mô lớn. Bạn còn nhớ detection rules (luật nhận diện) dùng trong phân loại dữ liệu để phát hiện loại dữ liệu trong một cột? Cơ chế đó cũng dùng được để tự động đề xuất hoặc tự gán thuật ngữ. Nếu một luật nhận ra giá trị trong cột khớp đúng khuôn dạng mã số thuế Việt Nam, hệ thống có thể tự gắn thuật ngữ “Mã số thuế” cho cột đó. Nhờ vậy, hàng loạt cột giống nhau trên nhiều hệ thống được gắn nghĩa đồng loạt mà không cần ai ngồi gán từng cái — vừa nhanh, vừa giảm sai sót do làm tay.

Gợi ý bằng AI

Knowledge Catalog là catalog tăng cường AI, nên ngoài luật cứng, nó còn có thể gợi ý thuật ngữ dựa trên tên cột, dữ liệu mẫu và ngữ cảnh. Hệ thống đưa ra đề xuất “cột này có vẻ là Số điện thoại”, người phụ trách chỉ việc xác nhận hoặc bác bỏ. Cách phối hợp này — máy gợi ý, người duyệt — cân bằng được giữa tốc độ và độ tin cậy: bạn có quy mô của tự động hóa nhưng vẫn giữ quyền kiểm soát cuối cùng của con người.

Ví dụ Việt Nam: gắn “Mã số thuế” cho toàn hệ thống

Một doanh nghiệp phân phối tại Việt Nam có ba hệ thống chứa thông tin mã số thuế của đối tác: phần mềm kế toán (cột mst), hệ thống mua hàng (cột tax_code), và CRM (cột ma_so_thue). Trước đây, mỗi khi cần đối chiếu nhà cung cấp giữa các hệ thống, nhân viên phải tự nhớ cột nào là cột nào, và việc kiểm tra mã số thuế có hợp lệ hay không thì mỗi nơi làm một kiểu, có nơi không làm.

Khi triển khai gắn thuật ngữ, đội governance định nghĩa thuật ngữ “Mã số thuế” trong từ điển (kèm mô tả: mã định danh thuế do cơ quan thuế cấp), rồi dùng detection rule tự gán cho cả ba cột và duyệt lại để chắc chắn. Kết quả:

Một nhân viên kinh doanh mới gõ “Mã số thuế” vào catalog và thấy ngay cả ba cột ở ba hệ thống — không cần biết tên kỹ thuật của chúng.
Quy tắc kiểm tra định dạng mã số thuế được gắn vào thuật ngữ, nên cả ba cột đều được kiểm tra chất lượng theo cùng một chuẩn.
Khi cơ quan thuế thay đổi cấu trúc mã, đội governance chỉ cần cập nhật quy tắc tại thuật ngữ một lần, thay vì sửa ở từng hệ thống.

Đó là lúc dữ liệu thật sự “có nghĩa”, và governance chuyển từ chuyện riêng của IT thành ngôn ngữ chung mà cả công ty cùng dùng.

Lớp ngữ nghĩa chỉ phát huy giá trị khi người dùng tìm và truy vấn được dữ liệu theo nghĩa đã gắn. Hãy đọc tiếp về cách tìm kiếm và ngôn ngữ truy vấn trong catalog, cũng như nền tảng từ điển thuật ngữ phía sau lớp ngữ nghĩa này.

Tìm và lọc dữ liệu theo thuật ngữ, nhãn, chủ sở hữu: Tìm kiếm dữ liệu và ngôn ngữ truy vấn AQL
Nền tảng định nghĩa thuật ngữ: Business glossary — từ điển thuật ngữ nghiệp vụ
Quy tắc chất lượng gắn theo thuật ngữ: Quy tắc chất lượng dữ liệu (DQ rules)