Kiến trúc tổng thể Ataccama ONE
Ataccama ONE không phải một ứng dụng đơn lẻ mà là một nền tảng nhiều thành phần phối hợp với nhau. Hiểu sơ đồ tổng thể giúp đội hạ tầng biết thành phần nào chạy ở đâu và dữ liệu di chuyển thế nào.
Các khối thành phần chính
Phần tiêu đề “Các khối thành phần chính”- ONE Platform (web application) — giao diện người dùng và lớp dịch vụ: catalog, glossary, quy tắc chất lượng, dashboard, phân quyền… Đây là nơi người dùng nghiệp vụ và quản trị làm việc hằng ngày.
- Kho metadata (MMM — Metadata Management Module) — “bộ não” lưu toàn bộ metadata: cấu trúc nguồn, kết quả profiling, thuật ngữ, quy tắc, quan hệ. Mọi module đọc/ghi tại đây.
- DPM (Data Processing Module) — bộ điều phối job: nhận yêu cầu xử lý từ Platform và phân phối cho các engine phù hợp.
- DPE (Data Processing Engine) — engine thực thi: kết nối trực tiếp tới nguồn dữ liệu, chạy profiling/đánh giá chất lượng và trả về metadata mô tả dữ liệu.
- Runtime Server — môi trường chạy các workflow/job theo lịch hoặc theo yêu cầu (xem ONE Runtime Server).
Luồng xử lý điển hình
Phần tiêu đề “Luồng xử lý điển hình”- Người dùng tạo một tác vụ (ví dụ: profiling một bảng) trên ONE Platform.
- Platform gửi yêu cầu tới DPM.
- DPM chọn một DPE có quyền truy cập nguồn đó và còn năng lực, rồi giao job.
- DPE kết nối tới nguồn, xử lý tại chỗ và sinh ra metadata.
- Kết quả (metadata) được lưu về kho MMM và hiển thị lại trên Platform.
Vì sao tách Platform — DPM — DPE
Phần tiêu đề “Vì sao tách Platform — DPM — DPE”Tách bạch giúp mở rộng theo chiều ngang: có thể thêm nhiều DPE để xử lý song song nhiều nguồn/nhiều job, trong khi DPM đóng vai trò cân bằng tải. Mô hình này cũng cho phép đặt DPE gần dữ liệu (kể cả on-premise) trong khi Platform chạy trên cloud — nền tảng cho mô hình Hybrid.