Custom Connector

Khi nguồn dữ liệu của bạn không có connector dựng sẵn (vd hệ thống nội bộ, định dạng riêng), OpenMetadata cho phép tự xây connector bằng Python SDK.

Kiến trúc một connector

Ingestion Framework theo mô hình Source → Processor → Sink (và Stage/Bulk Sink):

Source: đọc metadata từ hệ thống nguồn.
Processor: biến đổi/làm giàu (tùy chọn).
Sink: đẩy entity vào OpenMetadata qua API.

Khi nào cần custom connector

Nguồn độc quyền/nội bộ không có connector.
Cần logic thu thập đặc thù mà connector chuẩn không đáp ứng.
Tích hợp định dạng metadata riêng của doanh nghiệp.

Quy trình khái quát

Tạo Source (Python) đọc nguồn → phát các entity theo JSON Schema.
Cấu hình workflow trỏ tới source tùy biến.
Chạy như ingestion thường (UI/Airflow/external).

Vì sao khả thi

Mô hình schema-first đảm bảo entity bạn tạo nhất quán với phần còn lại.
SDK Python có sẵn tiện ích (client, mixin) để tạo entity, lineage, tag.

Hết nhóm Kết nối & Thu thập Metadata

Tiếp tục với: