Profiler Ingestion Workflow
Profiler workflow thu thập thống kê và mẫu dữ liệu của bảng/cột — giúp hiểu hình dạng dữ liệu và làm nền cho kiểm thử chất lượng.
Thu thập gì
Phần tiêu đề “Thu thập gì”- Thống kê cột: số lượng, null, distinct, min/max, trung bình, phân vị…
- Mẫu dữ liệu (sample): vài hàng ví dụ để xem nhanh.
- Theo thời gian: chạy định kỳ để thấy xu hướng (vd tỷ lệ null tăng).
Vì sao quan trọng
Phần tiêu đề “Vì sao quan trọng”- Hiểu nhanh chất lượng & đặc tính dữ liệu trước khi dùng.
- Phát hiện bất thường (đột biến null, phạm vi lạ).
- Là đầu vào cho test case và custom metrics.
Lưu ý hiệu năng & quyền riêng tư
Phần tiêu đề “Lưu ý hiệu năng & quyền riêng tư”| Vấn đề | Gợi ý |
|---|---|
| Tải nguồn | Lấy mẫu thay vì quét toàn bảng; lên lịch lúc tải thấp |
| Phạm vi | Chỉ profile bảng quan trọng |
| Dữ liệu nhạy cảm | Cẩn trọng khi lấy sample cột PII; kết hợp auto-PII |