Tài sản dữ liệu và tự động làm giàu metadata

Sau khi kết nối và quét nguồn, catalog đã có một danh sách đầy đủ các bảng và cột. Nhưng danh sách “trần” ấy mới chỉ trả lời được câu hỏi “có những gì” — chưa trả lời được “nó nghĩa là gì, có sạch không, ai chủ”. Trang này giải thích hai điều cho người mới: tài sản dữ liệu (catalog item) là gì, và cách Ataccama ONE tự động làm giàu metadata để mỗi tài sản dần “có hồn”, thay vì bắt con người ngồi mô tả từng bảng một.

Tài sản dữ liệu (catalog item) là gì

Tài sản dữ liệu — trong Ataccama ONE gọi là catalog item — là một đối tượng dữ liệu được mô tả trong catalog. Mỗi nguồn, mỗi bảng, mỗi cột mà bước quét đưa vào đều trở thành một tài sản có “hồ sơ” riêng để người dùng tra cứu.

Hãy hình dung như một thư viện: mỗi cuốn sách có một phiếu mục lục ghi tên sách, tác giả, thể loại, tóm tắt, tình trạng còn/mất. Trong catalog, mỗi tài sản dữ liệu cũng có một “phiếu” như vậy, nhưng dành cho dữ liệu:

Tên và vị trí — bảng này tên gì, nằm ở nguồn nào, lược đồ nào.
Cấu trúc kỹ thuật — có những cột nào, kiểu dữ liệu ra sao.
Ý nghĩa nghiệp vụ — bảng/cột này dùng để làm gì, gắn với thuật ngữ nghiệp vụ nào.
Thông tin vận hành — cập nhật lần cuối khi nào, ai là chủ sở hữu, điểm chất lượng bao nhiêu.

Tài sản có nhiều cấp: một bảng là một tài sản, và mỗi cột trong bảng cũng là một tài sản con có hồ sơ riêng. Nhờ vậy bạn không chỉ biết “có bảng khach_hang” mà còn tra được “cột email trong bảng đó nghĩa là gì, có bao nhiêu giá trị rỗng, có phải dữ liệu nhạy cảm không”.

Khi mới quét xong, các hồ sơ này phần lớn còn trống phần ý nghĩa — mới có tên và cấu trúc kỹ thuật. Phần thú vị là cách Ataccama ONE tự điền những phần còn thiếu.

Tự động làm giàu metadata sau khi quét

Làm giàu metadata (metadata enrichment) là quá trình bổ sung thêm thông tin mô tả cho từng tài sản, để hồ sơ từ “trần trụi” trở nên đầy đủ và có ý nghĩa. Ataccama ONE làm việc này tự động ở nhiều lớp. Dưới đây là ba lớp quan trọng nhất với người mới.

Profiling — thống kê để hiểu nội dung từng cột

Profiling (lập hồ sơ thống kê) là việc hệ thống tự “đọc qua” dữ liệu trong từng cột và rút ra các con số tóm tắt mô tả nội dung của nó. Sau profiling, mỗi cột không còn là cái tên vô hồn mà đi kèm những thông tin như:

Số lượng giá trị rỗng (null) và tỷ lệ phần trăm rỗng.
Số lượng giá trị khác nhau (distinct) — giúp nhận ra cột nào là mã định danh.
Giá trị nhỏ nhất, lớn nhất, độ dài, các giá trị xuất hiện nhiều nhất.
Các mẫu định dạng (pattern) — ví dụ cột này phần lớn theo định dạng email, hay theo định dạng số điện thoại.

Những thống kê này chính là cơ sở để hệ thống (và con người) đoán đúng một cột thực sự chứa gì, và là đầu vào cho việc phân loại tự động sau này. Profiling cũng là cầu nối trực tiếp tới chất lượng dữ liệu: từ các con số ấy, ta nhìn ra ngay cột nào nhiều giá trị thiếu, cột nào có dữ liệu bất thường. Xem sâu hơn ở Profiling.

Documentation flows — tự đề xuất mô tả, gắn thuật ngữ, phân loại

Nếu profiling lo phần “số liệu”, thì documentation flows (luồng tài liệu hóa tự động) lo phần “ý nghĩa”. Đây là các luồng tự động chạy trên tài sản sau khi quét/profiling, nhằm điền giúp con người những phần mô tả mà nếu làm tay sẽ rất tốn công:

Đề xuất mô tả (description) cho bảng/cột — dựa trên tên, mẫu dữ liệu và các tài sản tương tự đã được mô tả trước đó.
Gắn thuật ngữ nghiệp vụ (business term) — ví dụ nhận ra cột tong_tien ứng với thuật ngữ “Giá trị đơn hàng” trong từ điển thuật ngữ của tổ chức, rồi gắn liên kết lại.
Phân loại (classification) — gắn nhãn loại dữ liệu cho cột, ví dụ “email”, “số điện thoại”, “dữ liệu cá nhân (PII)”.

Điểm cốt lõi của documentation flows là chúng đưa ra đề xuất, còn con người xem lại và duyệt. Hệ thống làm phần nặng nhọc (quét hàng nghìn cột, đoán ý nghĩa), con người chỉ cần xác nhận hoặc chỉnh sửa — nhanh hơn rất nhiều so với mô tả từ con số không.

Gợi ý bằng AI — học từ những gì đã có

Trên cùng hai lớp trên, Ataccama ONE bổ sung gợi ý bằng AI. Vì catalog là một “Knowledge Catalog” tăng cường AI, hệ thống có thể học từ các tài sản đã được mô tả và duyệt để đưa ra gợi ý ngày càng chính xác cho các tài sản mới.

Một cách hình dung đơn giản: lần đầu, con người mô tả cột “địa chỉ giao hàng” và gắn nó với thuật ngữ “Địa chỉ khách hàng”. Lần sau, khi gặp một cột tương tự ở bảng khác (tên hơi khác, dữ liệu cùng kiểu), AI tự gợi ý mô tả và thuật ngữ giống vậy. Con người càng dùng, gợi ý càng “khôn” — đây là điểm khác biệt so với các catalog đời cũ chỉ làm thủ công.

Vì sao tự động hóa là bắt buộc khi catalog lớn dần

Với một tổ chức nhỏ chỉ vài chục bảng, người ta có thể nghĩ “thôi cứ ngồi mô tả tay cho xong”. Nhưng catalog thực tế lớn rất nhanh:

Một doanh nghiệp Việt Nam cỡ vừa thường có hàng nghìn bảng trải trên nhiều hệ thống (ERP, CRM, kho phân tích, các file nghiệp vụ).
Mỗi bảng lại có hàng chục cột — tổng cộng dễ lên tới hàng chục nghìn cột cần mô tả.
Cấu trúc còn thay đổi liên tục: mỗi lần quét định kỳ lại phát hiện thêm bảng/cột mới cần làm giàu metadata.

Hãy thử hình dung phải mô tả tay từng cột trong hàng chục nghìn cột: công việc này gần như không thể hoàn thành, và đến khi làm xong một phần thì phần đầu đã cũ. Đây chính là lý do tự động làm giàu metadata không phải “tính năng cho sang” mà là điều kiện bắt buộc để catalog dùng được trong thực tế.

Lợi ích của tự động hóa với governance:

Bao phủ rộng — ngay cả những bảng “ít người quan tâm” cũng có metadata cơ bản, không có vùng tối.
Nhất quán — cùng một loại dữ liệu được mô tả và phân loại theo cùng một chuẩn, thay vì mỗi người ghi một kiểu.
Đứng vững khi mở rộng — catalog tăng từ vài trăm lên vài nghìn tài sản mà không cần tăng tương ứng số người làm tài liệu.
Con người dồn sức vào việc đáng giá — thay vì gõ mô tả máy móc, các chuyên gia tập trung xem lại tài sản quan trọng và quyết định những gì AI không chắc.

Tóm lại

Mỗi nguồn, bảng, cột sau khi quét trở thành một tài sản dữ liệu (catalog item) — một “hồ sơ” có cấu trúc, ý nghĩa và thông tin vận hành. Ataccama ONE tự động làm giàu các hồ sơ đó qua profiling (thống kê cột), documentation flows (đề xuất mô tả, gắn thuật ngữ, phân loại) và gợi ý bằng AI học từ dữ liệu đã có. Vì catalog lớn lên tới hàng nghìn bảng, tự động hóa là cách duy nhất để mọi tài sản đều có metadata đầy đủ, nhất quán và luôn cập nhật.

Xem lại dữ liệu được đưa vào catalog từ đâu: Kết nối nguồn và quét/khám phá dữ liệu.
Đi sâu vào thống kê cột và cách đọc kết quả: Profiling.
Tìm hiểu cách nhận diện và bảo vệ dữ liệu nhạy cảm: Phân loại tự động & dữ liệu nhạy cảm (PII).