Pipeline connectors
Connector Pipeline Services đưa quy trình xử lý dữ liệu (pipeline/ETL/ELT) vào danh mục — biết dữ liệu được biến đổi và di chuyển như thế nào.
Connector tiêu biểu
Phần tiêu đề “Connector tiêu biểu”- Apache Airflow, dbt Cloud, Fivetran, Dagster, Airbyte.
Metadata thu thập được
Phần tiêu đề “Metadata thu thập được”- Pipeline & task: cấu trúc, trạng thái, lịch chạy.
- Lineage giữa các bảng: pipeline đọc gì → ghi gì → nền cho lineage.
- Trạng thái chạy (tùy nền tảng): hỗ trợ quan sát độ tin cậy.
Vì sao quan trọng
Phần tiêu đề “Vì sao quan trọng”- Pipeline là mắt xích biến đổi giữa nguồn và đích — không có nó, lineage bị đứt đoạn.
- Giúp truy nguyên nhân khi dữ liệu sai: pipeline nào tạo ra bảng này?
Lưu ý dbt
Phần tiêu đề “Lưu ý dbt”dbt vừa là pipeline, vừa mang theo nhiều metadata quý (mô tả, test, tag, lineage). OpenMetadata có workflow dbt riêng — xem dbt Workflow.