Data Lake & Warehouse connectors
Ngoài CSDL quan hệ, OpenMetadata kết nối tới kho dữ liệu đám mây và hồ dữ liệu (data lake) trên object storage.
Kho đám mây (cloud warehouse)
Phần tiêu đề “Kho đám mây (cloud warehouse)”- Amazon Redshift, Databricks (Lakehouse), Snowflake, BigQuery.
- Thu thập schema/bảng/cột như Database connectors, kèm khả năng usage/lineage.
Hồ dữ liệu (data lake) trên object storage
Phần tiêu đề “Hồ dữ liệu (data lake) trên object storage”- Amazon S3, Google Cloud Storage (GCS), Azure Data Lake Storage (ADLS).
- Connector đọc cấu trúc tệp/đối tượng (vd Parquet, CSV, JSON) và suy ra schema.
- Hữu ích để đưa dữ liệu “thô” vào danh mục cùng dữ liệu có cấu trúc.
Lưu ý cấu hình
Phần tiêu đề “Lưu ý cấu hình”| Vấn đề | Gợi ý |
|---|---|
| Xác thực cloud | IAM role/keys; ưu tiên role thay vì key tĩnh |
| Phạm vi | Lọc theo bucket/prefix/đường dẫn |
| Định dạng tệp | Xác định format để suy schema đúng |
| Bí mật | Lưu trong Secrets Manager |