dbt Workflow
dbt là công cụ biến đổi dữ liệu phổ biến, mang theo rất nhiều metadata quý. OpenMetadata có workflow dbt riêng để nhập toàn bộ chúng.
Nhập gì từ dbt
Phần tiêu đề “Nhập gì từ dbt”| Metadata | Giá trị |
|---|---|
| Lineage | Mô hình dbt → quan hệ bảng rõ ràng, đáng tin |
| Descriptions | Mô tả mô hình/cột từ dbt → vào danh mục |
| Tags | Tag dbt → classification/tags |
| Owner | Chủ sở hữu mô hình |
| Glossary | Liên kết thuật ngữ nghiệp vụ |
| Tiers | Phân hạng tầm quan trọng |
Cách hoạt động
Phần tiêu đề “Cách hoạt động”- Workflow đọc dbt artifacts (
manifest.json,catalog.json,run_results.json). - Artifacts lấy từ local, hoặc lưu trữ trên S3/GCS, hoặc qua dbt Cloud.
- Ánh xạ mô hình dbt vào entity tương ứng trong OpenMetadata.
Vì sao dbt + OpenMetadata mạnh
Phần tiêu đề “Vì sao dbt + OpenMetadata mạnh”- dbt đã mô tả ý nghĩa và quan hệ dữ liệu ngay tại nơi biến đổi.
- OpenMetadata đồng bộ chúng → danh mục giàu ngữ cảnh mà không nhập tay.
- Lineage từ dbt thường chính xác hơn suy từ query thuần.