OpenMetadata — Data Catalog, Metadata & Lineage Foundation của DataValue

Airbyte đưa dữ liệu vào. ClickHouse lưu trữ dữ liệu. dbt chuẩn hóa dữ liệu. Cube định nghĩa ý nghĩa. Superset giúp con người phân tích. AI giúp reasoning. n8n biến intelligence thành action. Còn OpenMetadata giúp doanh nghiệp biết dữ liệu mình có là gì, nằm ở đâu, đến từ đâu, ai sở hữu và có đáng tin cậy hay không.

Khi DataValue mới bắt đầu, kiến trúc khá đơn giản (Odoo → Airbyte → ClickHouse → dbt → Cube → Superset/AI). Nhưng khi Data Platform phát triển, số lượng tài sản dữ liệu tăng rất nhanh: Databases, Tables, Columns, dbt Models, Metrics, Dashboards, Pipelines, APIs, Documents, AI Assets. Lúc đó xuất hiện một nhóm câu hỏi hoàn toàn mới: Chúng ta đang có những dữ liệu gì? Revenue nằm ở đâu? Bảng này do ai chịu trách nhiệm? Dữ liệu này đến từ hệ thống nào? Dashboard này đang sử dụng những bảng nào? Nếu thay đổi một field trong Odoo thì những Data Model và Dashboard nào bị ảnh hưởng? Dataset nào đáng tin cậy để AI sử dụng? Đây không còn đơn thuần là bài toán Data Engineering — đó là bài toán Metadata, Data Discovery, Lineage và Data Governance, và trong DataValue đây chính là vai trò của OpenMetadata.

OpenMetadata là gì?

OpenMetadata là một nền tảng mã nguồn mở cho Metadata Management, Data Discovery, Data Catalog, Data Lineage, Data Quality và Data Governance. Có thể hiểu đơn giản: nếu ClickHouse quản lý Data, thì OpenMetadata quản lý thông tin về Data.

Ví dụ ClickHouse chứa bảng FactSales với các cột CustomerID, ProductID, OrderDate, Revenue, Cost. OpenMetadata không thay ClickHouse để lưu transactions — nó quản lý những thông tin như: Asset: FactSales · Description: Sales transaction fact table · Owner: Sales Data Team · Domain: Sales · Source: Odoo Community 19 · Classification: Internal · Quality: Passed · Upstream: Odoo → Airbyte → dbt · Downstream: Cube → Superset → AI. Đây chính là Metadata — dữ liệu mô tả về dữ liệu.

Tại sao DataValue cần một Metadata Platform?

Ở quy mô nhỏ, Data Engineer có thể nhớ bảng nào dùng làm gì, Revenue nằm ở đâu, model nào được xây từ bảng nào. Nhưng khi DataValue có 20 Data Sources, 500 Tables, 5.000 Columns, 200 dbt Models, 100 Metrics, 80 Dashboards, 30 Data Products, 20 AI Agents, không ai có thể nhớ toàn bộ hệ thống. Nếu thiếu Metadata Platform, tri thức về Data Platform rất dễ nằm rải rác trong đầu vài Developer, Excel, Email, Teams, tài liệu, SQL Scripts — và khi một người rời dự án, một phần kiến thức cũng biến mất. OpenMetadata giúp chuyển Tribal Knowledge thành Enterprise Metadata Knowledge.

Data Catalog & Data Discovery — “Google cho dữ liệu doanh nghiệp”

Một trong những capability quan trọng nhất của OpenMetadata là Data Catalog — có thể hình dung như Google Search cho dữ liệu doanh nghiệp. Thay vì hỏi Data Team “Revenue data nằm ở đâu?”, người dùng có thể search “Revenue” và thấy các tài sản liên quan: FactSales, Revenue Metric, Sales Data Product, Sales Dashboard, Customer Revenue, Monthly Revenue Model. Data Catalog biến Data Platform từ một tập hợp technical assets thành một môi trường có thể khám phá (discover).

Một vấn đề rất phổ biến trong doanh nghiệp là “tôi biết dữ liệu có tồn tại, nhưng không biết nó nằm ở đâu”. Ví dụ Data Analyst muốn phân tích Customer, và có thể tồn tại nhiều bảng na ná: customer, customers, res_partner, dim_customer, customer_master, customer_360 — bảng nào nên dùng? OpenMetadata cung cấp thêm context: dim_customer · Description: Certified Customer Dimension · Owner: Customer Data Team · Domain: Commercial · Quality: 98% · Certification: Trusted · Used by: 12 Dashboards, 3 Data Products, 2 AI Agents. Khi đó Data Analyst không chỉ tìm thấy data mà còn hiểu data nào NÊN được sử dụng.

Business Glossary — thống nhất cách hiểu thuật ngữ

Một doanh nghiệp không chỉ có technical metadata — nó còn có Business Language (Revenue, Gross Margin, Active Customer, Inventory Turnover, Customer Lifetime Value, Net Sales). Nếu mỗi phòng ban hiểu khác nhau, Data Platform vẫn chưa tạo được One Truth. OpenMetadata hỗ trợ Business Glossary để quản lý business terms và liên kết chúng với các data assets. Ví dụ term Revenue gồm Definition, Owner, Synonyms, Related Terms, Related Data Assets — và được nối trực tiếp với FactSales.net_revenue, Sales Data Product, Revenue Metric, Executive Sales Dashboard. Business terminology không còn nằm riêng trong tài liệu Word hoặc trong đầu người dùng — nó được kết nối trực tiếp với Data Platform.

Data Lineage — dữ liệu đến từ đâu?

Đây là một trong những capability giá trị nhất. Trong DataValue, một KPI trên dashboard có thể trải qua cả chuỗi Odoo → Airbyte → ClickHouse Raw → dbt Staging → dbt Mart → Cube → Superset. Ví dụ Odoo sale_order → raw_sale_order → stg_sales_order → FactSales → Revenue → Sales Dashboard. Đây chính là Data Lineage, giúp trả lời “dữ liệu này đến từ đâu?”.

Lineage cho phép nhìn theo hai chiều. Chiều ngược lại (Root Cause Analysis): giả sử CEO phát hiện Revenue Dashboard hôm nay thấp bất thường — không có lineage, Data Team phải kiểm tra từng hệ thống; có lineage, có thể lần ngược Executive Dashboard → Revenue Metric → FactSales → stg_sales_order → raw_sale_order → Airbyte → Odoo và phát hiện Airbyte sync chưa hoàn tất, rút ngắn quá trình Problem → Root Cause. Chiều xuôi (Impact Analysis): giả sử Odoo thay đổi sale_order.status — trước khi thay đổi, Data Team có thể nhìn downstream Odoo Field → Airbyte Dataset → dbt Model → FactSales → Revenue Metric → Sales Dashboard → AI Agent để biết dashboard nào, model nào, metric nào, consumer nào có nguy cơ bị ảnh hưởng.

flowchart LR
  ODOO["Odoo field"] --> AB["Airbyte dataset"] --> DBT["dbt model"] --> FACT["FactSales"] --> MET["Revenue Metric"] --> DASH["Dashboard"] --> AI["AI Agent"]

Ownership, Domain & Data Product

Ownership — một Data Platform không thể được quản trị tốt nếu mọi asset đều thuộc “IT”. OpenMetadata cho phép gắn Owner với data assets, ví dụ FactSales → Business Owner: Head of Sales · Data Owner: Commercial Data Owner · Technical Owner: Data Engineering Team. Điều này chuyển Data Governance từ “IT quản lý dữ liệu” sang “Business và IT cùng chịu trách nhiệm về dữ liệu” (Customer Data → Commercial, Revenue → Finance/Commercial, Inventory → Supply Chain, Supplier → Procurement).

Domain — một enterprise Data Platform không nên chỉ tổ chức theo database (clickhouse_prod → schema_01/02/03) vì business suy nghĩ theo Sales, Finance, Customer, Supply Chain, Procurement, Operations. OpenMetadata hỗ trợ tổ chức data assets theo Domains, mỗi Domain có Owner, Data Assets, Glossary Terms, Data Products, Quality, Governance — nền tảng rất phù hợp khi DataValue tiến tới Data Product Architecture.

Data Product — business không nên phải tìm table A, table B, table C; họ cần một sản phẩm hoàn chỉnh như Sales Data Product (Owner: Commercial Data Team · Contains: Customer, Product, Sales, Revenue, Margin · Metrics: Revenue, Gross Margin, Average Selling Price · Quality: 98.5% · Consumers: Superset, AI Agents, Applications). OpenMetadata có capability quản lý Data Products trong context của domain và data assets — rất hợp triết lý DataValue: Data không chỉ được lưu trữ, mà được đóng gói thành tài sản có thể sử dụng.

Data Quality, Trust & Classification

Một Data Catalog chỉ nói “dữ liệu nằm ở đâu” là chưa đủ — người dùng còn cần biết dữ liệu có tốt không. Ví dụ FactSales → Freshness: PASS, CustomerID Not Null: PASS, OrderID Unique: PASS, Revenue Validity: PASS, Relationship to Customer: PASS. OpenMetadata có capability về Data Quality/Test management để đưa thông tin chất lượng vào cùng metadata context — người dùng không chỉ nhìn Dataset mà nhìn Dataset + Owner + Lineage + Quality + Usage. Đây là cách xây Data Trust.

Về ranh giới với dbt: dbt Testing và OpenMetadata Data Quality không hoàn toàn trùng nhau. Trong DataValue, dbt vẫn chịu trách nhiệm quan trọng cho testing trong transformation pipeline (FactSales.OrderID → Unique, FactSales.CustomerID → Not Null), còn OpenMetadata giúp đưa kết quả quality vào governance và observability context rộng hơn. Có thể hiểu: dbt helps test the model; OpenMetadata helps the enterprise understand and govern data quality — không cần cố đưa toàn bộ responsibility vào một sản phẩm.

Tags & Classification — không phải dữ liệu nào cũng giống nhau. Customer Name, Email, Phone, Address, Tax Code, Financial Data có thể cần các classification khác nhau. OpenMetadata hỗ trợ Tags và Classification để gắn governance context (Customer.Email → Customer Data, Sensitive; Revenue → Finance, Confidential), tạo nền tảng để doanh nghiệp biết dữ liệu nào nhạy cảm, dữ liệu nào cần kiểm soát, dữ liệu nào được dùng cho mục đích nào.

Metadata Ingestion & Metadata Graph

OpenMetadata không yêu cầu người dùng nhập thủ công toàn bộ Data Catalog — nó có hệ thống connectors để thu thập metadata từ nhiều loại nền tảng dữ liệu và analytics (Airbyte, ClickHouse, dbt, Superset, Other Systems → OpenMetadata). Từ đó OpenMetadata xây một metadata graph cho Data Platform. Điều này rất quan trọng: Data Catalog không nên là một Excel được cập nhật thủ công — nó cần được đồng bộ với hệ thống thực tế.

Khi metadata được kết nối, chúng ta không còn nhìn Data Platform như các hệ thống riêng lẻ, mà như một mạng lưới (Customer → Odoo → Airbyte → ClickHouse → dbt → FactSales → {Cube → Revenue, Superset → Dashboard, AI Agent}). OpenMetadata cung cấp context về các mối quan hệ giữa những tài sản này — lý do Metadata Platform ngày càng quan trọng khi architecture trở nên composable. Và trải nghiệm Search & Discovery (“Google for Enterprise Data”) cho phép người dùng tìm "Customer Revenue" thay vì phải biết Database: clickhouse_prod, Schema: commercial, Table: fact_sales, Column: net_revenue — Data Platform chuyển từ technical infrastructure sang discoverable enterprise data environment.

Ranh giới với Superset, Airbyte & dbt

OpenMetadata và Superset — Superset giúp người dùng Analyze Data; OpenMetadata giúp Discover & Understand Data Assets. Luồng tự nhiên: OpenMetadata (Find Sales Dataset → Understand Owner/Lineage/Quality) → Superset (Analyze Sales). Cô đọng: OpenMetadata = Find & Trust, Superset = Explore & Analyze.
OpenMetadata và Airbyte — Airbyte di chuyển dữ liệu (Odoo → Airbyte → ClickHouse = Data Flow); OpenMetadata quản lý metadata về dữ liệu (quan sát Odoo → Airbyte → ClickHouse → dbt → Superset dưới góc độ Metadata + Lineage + Ownership + Governance). OpenMetadata không thay Airbyte.
OpenMetadata và dbt — dbt lo Transform · Model · Test; OpenMetadata lo Catalog · Discover · Govern · Trace. dbt tạo FactSales; OpenMetadata bổ sung context (Owner, Description, Domain, Glossary, Tags, Lineage, Quality, Usage, Downstream Assets). Một bên xây data model, một bên giúp enterprise hiểu và quản trị data asset đó.

OpenMetadata đặc biệt quan trọng với AI

Đây là phần rất quan trọng đối với tương lai của DataValue. Khi AI Agent sử dụng dữ liệu doanh nghiệp, chỉ đưa database schema cho AI là chưa đủ — Agent cần context: Dataset này là gì? Ai sở hữu? Có được certified không? Freshness thế nào? Lineage từ đâu? Business term liên quan là gì? Data nào nhạy cảm?. AI cần ba loại context khác nhau: Cube → Business Meaning · Knowledge/RAG → Enterprise Knowledge · OpenMetadata → Data Context & Governance — một architecture mạnh hơn rất nhiều so với việc AI chỉ kết nối trực tiếp vào database.

flowchart TB
  AI["AI AGENT"]
  AI --> CUBE["Cube → What the business data means"]
  AI --> KN["Knowledge/RAG → What the enterprise knows"]
  AI --> OM["OpenMetadata → What data exists & whether it can be trusted"]

Đặc biệt, AI cần biết “Data nào đáng tin”. Giả sử AI tìm thấy ba bảng sales_old, sales_temp, fact_sales — không có metadata, AI có thể chọn sai. OpenMetadata cung cấp context: sales_old → Status: Deprecated, sales_temp → Status: Development, fact_sales → Status: Certified, Owner: Commercial Data Team, Quality: Passed → AI có thêm thông tin để ưu tiên Trusted Data Asset. Đây là một lý do Metadata Platform sẽ ngày càng quan trọng trong kiến trúc Enterprise AI.

OpenMetadata tạo nền tảng cho Data Governance & Data Trust

Data Governance thường bị hiểu nhầm thành quy định, chính sách, tài liệu. Nhưng governance chỉ thực sự có giá trị khi nó được gắn vào data assets. Ví dụ FactSales → {Owner, Domain, Classification, Glossary, Quality, Lineage, Usage, Certification} — khi đó governance không còn chỉ nằm trong một document, mà trở thành một phần của Data Platform.

Đây là cách định vị OpenMetadata trong DataValue. Data Catalog cấp thấp chỉ trả lời “What data do we have?”; nhưng DataValue cần đi xa hơn: What does it mean? Where did it come from? Who owns it? Can I trust it? Who uses it? What happens if it changes?. Do đó chuỗi giá trị là Catalog → Discovery → Lineage → Ownership → Quality → Governance → TRUST. Đích cuối cùng không phải Data Catalog — đích cuối cùng là Trusted Data.

OpenMetadata là capability xuyên suốt, không phải một bước trong pipeline

Đây là điểm kiến trúc rất quan trọng. Không nên vẽ Airbyte → ClickHouse → dbt → OpenMetadata → Cube — vì như vậy dễ hiểu OpenMetadata là một bước xử lý data. Không phải. OpenMetadata nên nằm xuyên suốt toàn Data Platform — một control & context layer bao phủ Data Platform:

flowchart LR
  subgraph FLOW["Data-to-Action Value Chain"]
    ODOO["Odoo"] --> AB["Airbyte"] --> CH["ClickHouse"] --> DBT["dbt"] --> CUBE["Cube"] --> SA["Superset · AI"] --> N8N["n8n"]
  end
  OM["OPENMETADATA · Catalog · Discovery · Lineage · Ownership · Glossary · Classification · Quality · Governance · Data Products"]
  OM -. quan sát & quản trị .-> FLOW

OpenMetadata là Governance & Metadata Fabric của DataValue. Role map: Odoo Operate · Airbyte Ingest · ClickHouse Store & Process · dbt Transform & Model · Cube Define & Understand · Superset Explore & Analyze · AI Reason · n8n Automate & Act · OpenMetadata — Discover, Govern & Trust (chữ Trust phân biệt OpenMetadata với các sản phẩm còn lại rất rõ).

Kết luận: từ Data Platform sang Governed, Trusted Data & AI Platform

Nếu không có Metadata & Governance Layer, DataValue vẫn chạy được (Airbyte → ClickHouse → dbt → Cube → Superset). Nhưng khi platform mở rộng, rất dễ xuất hiện: không biết dataset nào chính thức, không biết owner là ai, không biết KPI đến từ đâu, không biết thay đổi một table ảnh hưởng dashboard nào, không biết data nào đủ chất lượng, không biết AI nên sử dụng dataset nào. OpenMetadata giải quyết lớp vấn đề đó, đưa kiến trúc từ Data Platform → Governed Data Platform → Trusted Data & AI Platform.

Airbyte giúp thu nhận dữ liệu, ClickHouse giúp lưu trữ và xử lý, dbt giúp chuẩn hóa và mô hình hóa, Cube giúp định nghĩa ý nghĩa kinh doanh, Superset giúp con người khám phá và phân tích, AI giúp reasoning, n8n giúp biến intelligence thành action. Còn OpenMetadata giải một câu hỏi xuyên suốt: chúng ta có thể hiểu, quản trị và tin tưởng dữ liệu này hay không? Vì vậy DataValue định vị OpenMetadata — Metadata, Governance & Data Trust Foundation. Khi bổ sung lớp này, chuỗi giá trị không chỉ còn Data → Meaning → Insight → Intelligence → Action → Value, mà có thêm một nền tảng xuyên suốt Discover → Understand → Govern → Trust — bảo đảm rằng Data, BI và AI đều đang hoạt động trên những tài sản dữ liệu có thể tìm thấy, hiểu được, truy vết được và đáng tin cậy. Đây là bước giúp DataValue tiến từ một Open Data & AI Platform thành một Governed, Trusted Data & AI-to-Action Platform.

Tài liệu OpenMetadata đầy đủ (mục sản phẩm) Cài đặt, connectors, ingestion, cấu hình catalog/lineage/quality/governance — hướng dẫn chi tiết OpenMetadata.