Metadata Ingestion Workflow & Filters
Metadata ingestion là workflow nền tảng — thu thập cấu trúc (database, schema, table, column, dashboard…) từ nguồn vào OpenMetadata.
Workflow làm gì
Phần tiêu đề “Workflow làm gì”- Đọc danh mục của nguồn → tạo/cập nhật entity trong OpenMetadata.
- Theo cơ chế PUT của API: tạo nếu chưa có, cập nhật nếu đã có.
- Sinh change event & versioning cho mỗi thay đổi.
Filter Patterns — lọc phạm vi
Phần tiêu đề “Filter Patterns — lọc phạm vi”Kiểm soát thu thập cái gì bằng các mẫu lọc (include/exclude, theo tên/regex):
| Cấp lọc | Ví dụ |
|---|---|
| Database | Chỉ lấy prod, bỏ temp |
| Schema | Bỏ schema staging_* |
| Table | Chỉ lấy bảng dim_*, fact_* |
→ Lọc tốt giúp ingestion nhanh, gọn, danh mục sạch.
Tính năng nâng cao
Phần tiêu đề “Tính năng nâng cao”- Incremental extraction: chỉ lấy thay đổi so với lần trước → nhanh hơn.
- Multithreading (beta): tăng tốc với nguồn lớn.
Thực hành tốt
Phần tiêu đề “Thực hành tốt”- Lọc sớm để tránh nhập tài sản rác.
- Lên lịch định kỳ để danh mục luôn cập nhật.
- Bắt đầu bằng metadata, rồi bật usage/lineage/profiler.