Tổng quan Connectors & Ingestion
Connector là cách OpenMetadata kết nối tới hệ thống nguồn để thu thập metadata. Nền tảng có 130+ connector dựng sẵn, chạy trên Ingestion Framework.
Các nhóm connector
Phần tiêu đề “Các nhóm connector”| Nhóm | Ví dụ |
|---|---|
| Database | Snowflake, BigQuery, Postgres, MySQL, Oracle, MSSQL… |
| Data Lake / Warehouse | Redshift, Databricks, S3, GCS, ADLS, Hive |
| Dashboard / BI | Tableau, Power BI, Looker, Superset, Metabase, Qlik |
| Pipeline | Airflow, dbt, Fivetran, Dagster, Airbyte |
| Messaging | Kafka, Kinesis |
| ML Model | MLflow, SageMaker |
| Search | Elasticsearch, OpenSearch |
| Metadata | Atlas, Amundsen |
Các loại workflow thu thập
Phần tiêu đề “Các loại workflow thu thập”Mỗi connector có thể chạy nhiều loại workflow:
- Metadata — cấu trúc (schema, bảng, cột, dashboard…) → workflow & filters.
- Usage — mức độ sử dụng, truy vấn phổ biến → usage.
- Lineage — dòng chảy dữ liệu → lineage.
- Profiler — thống kê & mẫu dữ liệu → profiler.
- dbt — mô hình, mô tả, tag, lineage từ dbt → dbt workflow.
Mẫu cấu hình chung
Phần tiêu đề “Mẫu cấu hình chung”- Khai service + thông tin kết nối nguồn.
- Cấu hình xác thực (giữ bí mật qua Secrets Manager).
- Chọn loại workflow và filter phạm vi.
- Lên lịch qua orchestrator.