Kết nối object storage
Ngoài CSDL, nhiều dữ liệu nằm ở object storage và tệp. Ataccama kết nối tới các kho này để quét và đánh giá các tệp dữ liệu (Parquet, Avro, CSV, Excel…).
Các kho thường gặp
Phần tiêu đề “Các kho thường gặp”- Amazon S3, Azure Data Lake Storage Gen2, Google Cloud Storage, OneLake.
- Một số kho tệp/đám mây cá nhân (Google Drive, OneDrive, Dropbox) và file system cục bộ.
- Định dạng tệp: Parquet, Avro, Excel, CSV…
Chuẩn bị
Phần tiêu đề “Chuẩn bị”- Đường dẫn/bucket/container và cấu trúc thư mục.
- Xác thực: access key, SAS, service principal, hoặc IAM role tùy nền tảng.
- Bí mật để ở secret store.
Lưu ý
Phần tiêu đề “Lưu ý”- Xác định phạm vi quét (thư mục/bucket nào) để tránh quét nhầm dữ liệu không liên quan.
- Với tệp lớn, cân nhắc định dạng cột (Parquet) giúp profiling hiệu quả hơn.
- Quyền tối thiểu: thường chỉ cần đọc (list + get).