DPM và DPE
DPM và DPE là hai thành phần quyết định cách Ataccama ONE xử lý dữ liệu và khả năng mở rộng của hệ thống.
DPM — Data Processing Module
Phần tiêu đề “DPM — Data Processing Module”DPM là lớp trung gian giữa DPE và phần còn lại của nền tảng. Vai trò chính:
- Nhận yêu cầu job (kèm tham số) từ người dùng/Platform.
- Phân phối job cho các DPE dựa trên: DPE nào có quyền truy cập nguồn cần xử lý, và DPE đó còn xử lý được bao nhiêu job đồng thời.
- Vì nhiều DPE có thể cùng làm việc với một nguồn, DPM hoạt động như một bộ cân bằng tải (load balancer), cho phép mở rộng DPE theo chiều ngang.
DPE — Data Processing Engine
Phần tiêu đề “DPE — Data Processing Engine”DPE là nơi thực sự xử lý dữ liệu:
- Kết nối tới nguồn qua JDBC hoặc các kết nối chuyên dụng (Spark, Databricks, Snowflake…).
- Chạy profiling/đánh giá và sinh ra metadata mô tả nguồn dữ liệu.
- Theo Ataccama, toàn bộ xử lý chỉ diễn ra ở DPE, và metadata kết quả không chứa dữ liệu gốc của bạn.
Cách DPM và DPE giao tiếp
Phần tiêu đề “Cách DPM và DPE giao tiếp”- Quan hệ client–server: DPE là client, DPM là server.
- Mặc định, DPE chủ động mở kết nối TCP tới DPM, phiên làm việc thiết lập trên cổng 443 và mã hóa bằng TLS.
- Trong phiên đó, hai bên trao đổi qua gRPC.
Khi nào cần thêm DPE
Phần tiêu đề “Khi nào cần thêm DPE”Cân nhắc bổ sung DPE khi: số nguồn/khối lượng job tăng, cần xử lý song song nhiều hơn, hoặc cần một DPE đặt trong một vùng mạng/khu vực địa lý riêng để tới gần một nguồn dữ liệu cụ thể.