Airflow & external orchestrators

OpenMetadata không bắt buộc dùng Airflow đi kèm — bạn có thể chạy ingestion từ orchestrator sẵn có hoặc CI/CD, miễn là gọi được Ingestion Framework.

Ghi chú

Tổng hợp từ các hướng dẫn “Run the ingestion externally” của OpenMetadata (Airflow, MWAA, GCP Composer, GitHub Actions, Kubernetes).

Các lựa chọn external

• Airflow của bạn: thêm DAG gọi workflow OpenMetadata; dùng Airflow Connections để giữ credential.
• AWS MWAA: Airflow managed trên AWS.
• GCP Cloud Composer: Airflow managed trên Google Cloud.
• GitHub Actions: chạy ingestion trong pipeline CI/CD.
• Kubernetes-native: lập lịch như job trong cluster.
• CLI: chạy trực tiếp metadata ingest với file cấu hình.

Quản lý credential

Cách	Ghi chú
Airflow Connections	Lưu thông tin nguồn an toàn trong Airflow
Biến môi trường	Tiện cho CI/CD; tránh in ra log
Secrets Manager	Chuẩn production trên cloud

Vì sao tách orchestrator ra ngoài

• Tận dụng hạ tầng điều phối sẵn có, không thêm Airflow riêng.
• Đưa ingestion vào CI/CD (versioned config, review, audit).
• Mở rộng độc lập, không ảnh hưởng server.

Mẹo

Khai báo workflow bằng file YAML versioned trong Git giúp ingestion lặp lại được và dễ kiểm toán — rất hợp mô hình “metadata as code”.

Tiếp theo

• Sao lưu & phục hồi metadata
• Tổng quan Connectors & Ingestion