DQ Firewalls & Gates
Thay vì chỉ phát hiện dữ liệu xấu sau khi đã vào kho, Ataccama cho phép chặn ngay tại cửa bằng DQ Firewalls và Data Quality Gates.
DQ Firewall
Phần tiêu đề “DQ Firewall”- Đặt một “tường lửa chất lượng” trên luồng dữ liệu: bản ghi không đạt quy tắc sẽ bị chặn/đánh dấu trước khi đi tiếp.
- Phù hợp khi cần ngăn dữ liệu xấu lan vào hệ thống hạ nguồn.
Data Quality Gates
Phần tiêu đề “Data Quality Gates”- Cổng kiểm tra chất lượng tích hợp ngay trong pipeline/kho dữ liệu.
- Có thể chạy bằng UDF/DMF của Snowflake hoặc Python — kiểm tra chất lượng tại chỗ trong warehouse.
- Hữu ích để gắn kiểm tra chất lượng vào quy trình ELT/ETL hiện có.
Khi nào dùng cái nào
Phần tiêu đề “Khi nào dùng cái nào”| Nhu cầu | Công cụ |
|---|---|
| Chặn bản ghi xấu trên luồng vào | DQ Firewall |
| Kiểm tra chất lượng ngay trong warehouse/pipeline | DQ Gates (UDF/DMF, Python) |
| Theo dõi xu hướng định kỳ | Monitoring Projects |