Triển khai Ingestion Framework
Ingestion Framework là phần thu thập metadata từ nguồn về OpenMetadata. Nó chạy tách biệt server, nên bạn có nhiều cách triển khai tùy hạ tầng.
Ba cách chạy ingestion
Phần tiêu đề “Ba cách chạy ingestion”| Cách | Mô tả | Phù hợp |
|---|---|---|
| Từ UI | Cấu hình & lên lịch pipeline ngay trên giao diện (cần Airflow đi kèm) | Đơn giản, phổ biến |
| Airflow của bạn | Đưa workflow vào Airflow sẵn có của tổ chức | Đã có nền Airflow |
| External | Chạy từ GitHub Actions, AWS MWAA, GCP Composer, Kubernetes, hoặc CLI | CI/CD, không muốn Airflow nội bộ |
Mô hình hoạt động
Phần tiêu đề “Mô hình hoạt động”- Một workflow (metadata/usage/lineage/profiler…) được khai báo bằng cấu hình YAML/JSON.
- Orchestrator (Airflow/khác) chạy theo lịch, gọi Ingestion Framework.
- Framework trích metadata từ nguồn → đẩy vào OpenMetadata qua API.
Chọn cách nào
Phần tiêu đề “Chọn cách nào”- Mới bắt đầu → chạy từ UI (kèm Airflow trong stack).
- Đã có Airflow → nhúng workflow vào đó.
- CI/CD-first → external (GitHub Actions/MWAA/Composer) — xem Airflow & external.