Anomaly Detection
Không phải vấn đề nào cũng bắt được bằng quy tắc cố định. Anomaly Detection giúp phát hiện bất thường — những thay đổi đột ngột so với hành vi thường thấy của dữ liệu.
Khác gì với DQ rule cố định
Phần tiêu đề “Khác gì với DQ rule cố định”- DQ rule: kiểm tra điều kiện biết trước (“email phải đúng định dạng”).
- Anomaly detection: phát hiện điều bất thường chưa định nghĩa trước — ví dụ số bản ghi tăng/giảm đột biến, tỷ lệ rỗng nhảy vọt, phân bố giá trị lệch khác thường.
Hữu ích khi
Phần tiêu đề “Hữu ích khi”- Dữ liệu biến động theo thời gian và khó đặt ngưỡng tĩnh.
- Muốn cảnh báo sớm các thay đổi đáng ngờ mà quy tắc cứng bỏ sót.
- Bổ trợ cho Observability và Monitoring.
Lưu ý
Phần tiêu đề “Lưu ý”- Bất thường là tín hiệu cần xem xét, không phải lúc nào cũng là lỗi — cần con người đánh giá.
- Hiệu quả tăng khi có đủ lịch sử dữ liệu để học hành vi bình thường.