Bỏ qua để đến nội dung
Documentation

Tìm kiếm dữ liệu và ngôn ngữ truy vấn AQL trong catalog

Một danh mục dữ liệu (data catalog) dù được nạp đầy đủ, gắn thuật ngữ kỹ lưỡng, chấm điểm chất lượng cẩn thận — tất cả những công sức đó chỉ có ý nghĩa khi người dùng tìm được thứ họ cần trong vài giây. Một catalog mà mọi người không tra cứu nổi thì cũng chẳng khác gì kho tài liệu khóa kín: có đủ thứ bên trong nhưng chẳng ai lấy ra được. Vì thế, tìm kiếm không phải tính năng phụ — nó là cánh cửa chính dẫn vào toàn bộ giá trị của catalog. Trang này giải thích cách tìm và lọc tài sản dữ liệu, và giới thiệu AQL (Ataccama Query Language) — ngôn ngữ truy vấn cho phép đặt những câu hỏi phức tạp mà ô tìm kiếm thông thường không diễn đạt nổi.

Tìm kiếm trong catalog: cửa vào của self-service

Phần tiêu đề “Tìm kiếm trong catalog: cửa vào của self-service”

Cách dùng catalog quen thuộc nhất giống hệt cách bạn dùng một công cụ tìm kiếm: gõ từ khóa vào ô tìm kiếm và xem kết quả. Bạn gõ “doanh thu”, catalog trả về mọi tài sản dữ liệu liên quan — bảng doanh thu theo tỉnh, cột doanh thu thuần, báo cáo doanh thu theo tháng — kèm thông tin tóm tắt để bạn nhận ra cái nào đúng ý mình.

Nhưng catalog làm được nhiều hơn một ô tìm kiếm thuần túy, nhờ những thông tin đã được làm giàu ở các bước trước. Người dùng có thể lọc kết quả theo nhiều tiêu chí nghiệp vụ:

  • Theo thuật ngữ nghiệp vụ: chỉ hiện những tài sản đã được gắn thuật ngữ “Khách hàng” hoặc “Mã số thuế”. Đây là lúc lớp ngữ nghĩa phát huy tác dụng — bạn tìm theo nghĩa, không phải theo tên cột.
  • Theo nhãn phân loại: lọc ra mọi tài sản được đánh dấu là PII (thông tin định danh cá nhân) hoặc dữ liệu nhạy cảm, phục vụ rà soát bảo mật.
  • Theo chủ sở hữu dữ liệu (data owner): xem mọi tài sản thuộc trách nhiệm của một phòng ban hay một người cụ thể.
  • Theo điểm chất lượng: chỉ lấy những bảng có điểm chất lượng cao để dùng cho báo cáo quan trọng, hoặc ngược lại, lọc ra những bảng điểm thấp cần được dọn dẹp.

Khả năng kết hợp các bộ lọc này biến việc tìm dữ liệu thành thao tác tự phục vụ (self-service) thực thụ: người dùng nghiệp vụ tự tìm, tự sàng lọc, tự đánh giá độ tin cậy mà không phải gửi yêu cầu cho đội IT rồi chờ đợi. Đó chính là điều một data catalog tốt hứa hẹn — biến dữ liệu từ thứ “phải đi xin” thành thứ “tự tra được”.

Vì sao tìm kiếm tốt quyết định catalog có được dùng hay không

Phần tiêu đề “Vì sao tìm kiếm tốt quyết định catalog có được dùng hay không”

Có một sự thật thẳng thắn về catalog: tổ chức có thể bỏ ra rất nhiều công sức nạp dữ liệu, gắn thuật ngữ, chấm điểm — nhưng nếu trải nghiệm tìm kiếm chậm chạp, kết quả lộn xộn hoặc không liên quan, người dùng sẽ thử vài lần rồi bỏ. Và một khi họ quay về thói quen cũ — đi hỏi đồng nghiệp, tự mò trong cơ sở dữ liệu, copy file Excel cho nhau — thì khoản đầu tư vào catalog coi như lãng phí.

Nói cách khác, chất lượng tìm kiếm là yếu tố sống còn quyết định catalog có thực sự được áp dụng hay không. Một ô tìm kiếm trả về đúng thứ cần, đủ nhanh, với bộ lọc đủ thông minh, sẽ tạo ra vòng lặp tích cực: người dùng tìm thấy giá trị, họ quay lại, họ tin tưởng, họ đóng góp thêm metadata, và catalog ngày càng giàu. Ngược lại, tìm kiếm kém khởi động một vòng xoáy đi xuống mà không lượng tài liệu hướng dẫn nào cứu được.

Đây cũng là lý do governance không nên dừng ở việc “nạp dữ liệu vào catalog cho đủ”. Mục tiêu thật sự là để dữ liệu được tìm thấy và được dùng. Một bảng có nằm trong catalog mà không ai tra ra thì về mặt thực tế vẫn như chưa có trong catalog.

AQL — ngôn ngữ truy vấn cho câu hỏi phức tạp

Phần tiêu đề “AQL — ngôn ngữ truy vấn cho câu hỏi phức tạp”

Ô tìm kiếm và bộ lọc giải quyết tốt phần lớn nhu cầu hằng ngày. Nhưng có những câu hỏi mà bấm vài nút lọc không diễn đạt được, đặc biệt là các câu hỏi của đội governance khi họ muốn rà soát toàn hệ thống. Lúc đó cần đến AQL (Ataccama Query Language) — ngôn ngữ truy vấn riêng của Ataccama để lọc tài sản dữ liệu theo những điều kiện phức tạp, kết hợp nhiều tiêu chí với nhau bằng logic rõ ràng.

Hãy hình dung AQL như cách bạn đặt một câu hỏi rất cụ thể với catalog, thay vì chọn từ vài bộ lọc có sẵn. Sức mạnh của nó nằm ở chỗ ghép nhiều điều kiện: thuật ngữ đã gắn, nhãn phân loại, sự tồn tại (hoặc thiếu vắng) của chủ sở hữu, điểm chất lượng, ngày cập nhật, và nhiều thuộc tính khác — tất cả trong một câu truy vấn.

Một ví dụ kinh điển mà AQL giải quyết gọn gàng: mọi cột được gắn nhãn PII nhưng chưa có chủ sở hữu. Câu hỏi này gói hai điều kiện — “đã phân loại là PII” và “thiếu data owner” — và đúng là loại câu hỏi tối quan trọng cho tuân thủ. Nó chỉ ra chính xác những dữ liệu nhạy cảm đang “vô chủ”, tức là rủi ro về bảo mật và trách nhiệm giải trình. Với một ô tìm kiếm thông thường, bạn khó lòng diễn đạt vế “chưa có chủ sở hữu”; với AQL, đó là một điều kiện hiển nhiên.

Vài kiểu câu hỏi mà AQL thường được dùng để trả lời:

  • mọi tài sản gắn thuật ngữ "Mã số thuế" nhưng có điểm chất lượng dưới ngưỡng — tìm chỗ dữ liệu quan trọng đang kém chất lượng.
  • mọi bảng chứa dữ liệu nhạy cảm mà chưa được kiểm tra chất lượng lần nào — phát hiện vùng dữ liệu rủi ro chưa ai soi tới.
  • mọi cột PII không có chủ sở hữu và lâu rồi chưa cập nhật — khoanh vùng dữ liệu vừa nhạy cảm, vừa vô chủ, vừa cũ.

AQL biến catalog từ một “danh bạ tra cứu” thành một “công cụ điều tra” cho đội governance — nơi họ chủ động truy tìm vấn đề thay vì chờ vấn đề lộ ra.

Ví dụ Việt Nam: rà soát dữ liệu cá nhân vô chủ

Phần tiêu đề “Ví dụ Việt Nam: rà soát dữ liệu cá nhân vô chủ”

Một ngân hàng tại Việt Nam cần chuẩn bị cho đợt rà soát tuân thủ về bảo vệ dữ liệu cá nhân. Câu hỏi đặt ra cho đội governance rất cụ thể: trong toàn bộ kho dữ liệu, có những cột nào chứa thông tin cá nhân của khách hàng — số căn cước công dân, số điện thoại, địa chỉ — mà hiện không ai đứng tên chịu trách nhiệm?

Nếu làm thủ công, đây là việc khổng lồ: hàng nghìn bảng, hàng chục nghìn cột, rải khắp các hệ thống lõi và các kho dữ liệu phụ. Không ai đủ sức đi xem từng cái.

Nhờ các bước trước trong catalog, dữ liệu cá nhân đã được phân loại tự động và gắn nhãn PII, còn thông tin chủ sở hữu thì được ghi nhận (hoặc để trống nếu chưa ai nhận). Đội governance viết một truy vấn AQL với ý nghĩa mọi cột gắn nhãn PII và chưa có chủ sở hữu, và trong tích tắc catalog trả về đúng danh sách cần tìm — những cột dữ liệu cá nhân đang “vô chủ” trên khắp hệ thống.

Từ danh sách đó, họ phân công người chịu trách nhiệm cho từng nhóm dữ liệu, đặt thêm quy tắc kiểm soát truy cập, và khép lại đúng lỗ hổng mà đợt rà soát quan tâm. Điều trước đây phải mất nhiều tuần lùng sục thủ công nay gói gọn trong một câu truy vấn — và đó chính là lý do một catalog có tìm kiếm và AQL mạnh trở thành công cụ governance không thể thiếu, chứ không chỉ là một danh mục để tra cứu.

Tiếp theo

Phần tiêu đề “Tiếp theo”

Tìm kiếm và AQL là cách bạn khai thác mọi thứ đã được nạp và làm giàu trong catalog. Để hiểu trọn bức tranh, hãy xem cách dữ liệu được gắn nghĩa và cách điểm chất lượng xuất hiện ngay trong catalog.

Chia sẻ: