Data Fabric

Organizações acumulam dados em ecossistemas cada vez mais heterogêneos: bancos de dados on-premise legados, múltiplas nuvens (AWS, Azure, GCP), SaaS diversos (Salesforce, SAP, Oracle), data warehouses, data lakes, arquivos locais. Integrar esses dados para análise ou para alimentar aplicações requer pipelines de integração que proliferam, se tornam difíceis de manter e criam silos mesmo onde não havia intenção de criá-los.

Data Fabric é um conceito arquitetural que propõe uma camada de integração e gestão de dados unificada — uma "malha" (fabric) que conecta fontes de dados heterogêneas e distribuídas, torna os dados descobríveis e acessíveis de forma consistente, e aplica políticas de governança automaticamente independentemente de onde os dados residem. Em vez de mover dados para um repositório centralizado, o Data Fabric cria uma visão virtual integrada sobre dados que permanecem nas fontes originais.

O conceito foi popularizado por analistas da Gartner como uma das principais tendências de arquitetura de dados — e como muitos conceitos de analistas de mercado, combina ideias genuinamente relevantes com certa dose de buzzword que requer calibração.

Proliferação de silos: cada sistema guarda seus dados de forma proprietária, e integrações point-to-point (sistema A para sistema B, sistema B para sistema C) criam uma teia de dependências frágil. Data Fabric propõe uma camada intermediária que abstrai essa complexidade.

Inconsistência de semântica: "cliente" significa coisas ligeiramente diferentes no CRM, no ERP e na plataforma de e-commerce. Data Fabric inclui uma camada de knowledge graph ou grafo de conhecimento que mapeia como entidades se relacionam entre sistemas e como termos diferentes se traduzem.

Governança fragmentada: políticas de acesso, privacidade e qualidade definidas sistema a sistema são impossíveis de auditar de forma consistente. Data Fabric propõe aplicar políticas de governança centralmente, propagadas automaticamente para todas as fontes.

Descoberta difícil: analistas não sabem quais dados existem onde. Data Fabric inclui catálogo de dados federado que indexa metadados de todas as fontes conectadas.

Movimento desnecessário de dados: copiar dados para um repositório central tem custo de latência, storage e sincronização. Data Fabric propõe virtualização — acesso aos dados nas fontes sem movimento, quando o caso de uso não exige persistência.

Virtualização de dados: criar views unificadas sobre dados em múltiplas fontes sem precisar copiá-los. O usuário ou aplicação acessa como se fosse uma tabela única; o sistema traduz e federa as queries para as fontes. Denodo, Dremio e TIBCO Data Virtualization são exemplos de ferramentas nessa categoria.

Knowledge graph: representação formal das entidades de negócio (cliente, produto, pedido, fornecedor) e seus relacionamentos, com mapeamentos para como essas entidades são representadas em cada sistema. Permite inferir conexões e integrar dados semanticamente, não apenas por chaves de junção.

Catálogo federado: inventário de metadados de todas as fontes conectadas — schemas, tipos de dado, owners, linhagem — atualizado automaticamente por crawlers que varrem as fontes.

Governança ativa: políticas de acesso e privacidade (mascaramento de dados, controle de acesso baseado em classificação de dado) aplicadas automaticamente na camada do fabric, independentemente da fonte subjacente.

AI/ML integrado: uma das propostas do Data Fabric é usar ML para sugerir integrações e relacionamentos automaticamente — identificar que o campo "customer_id" no sistema A provavelmente corresponde ao "cli_codigo" no sistema B, por exemplo. Na teoria, reduz esforço manual de mapeamento; na prática, ainda requer validação humana significativa.

Os dois conceitos frequentemente são confundidos — e os próprios analistas de mercado não têm posição única sobre a relação entre eles.

Data Mesh é uma abordagem organizacional: quem é responsável pelos dados (os domínios, não a equipe central). Foca em estrutura de times, ownership e cultura.

Data Fabric é uma abordagem técnica: como dados de fontes heterogêneas são integrados, descobertos e governados de forma consistente. Foca em arquitetura e tecnologia.

Os dois não são mutuamente exclusivos. Uma organização pode adotar Data Mesh (distribuição de ownership) com Data Fabric como a plataforma técnica de self-service que os domínios usam. Ou pode usar Data Fabric sem adotar Data Mesh (mantendo equipe central de dados, mas com arquitetura de integração federada).

Qualidade dos dados nas fontes: se os dados nas fontes são de baixa qualidade, Data Fabric integra dados de baixa qualidade de forma mais eficiente — não os melhora. Governança de qualidade ainda precisa acontecer na origem.

Complexidade de implementação: integrar fontes heterogêneas com semântica diferente é intrinsecamente complexo. Data Fabric não elimina essa complexidade — a encapsula em uma plataforma. A plataforma em si tem complexidade de implementação e manutenção.

Latência de virtualização: queries federadas sobre fontes remotas têm latência maior do que queries em dados armazenados localmente. Para análises que exigem alta performance, persistência local ainda pode ser necessária.

Maturidade das ferramentas: o mercado de Data Fabric ainda está se consolidando. Fornecedores diferentes têm implementações com capacidades muito distintas do que o conceito descreve no ideal.

Data Fabric é um conceito com substância real para um problema real: a heterogeneidade crescente de ecossistemas de dados em grandes organizações. Para empresas que operam em múltiplos ambientes cloud, com sistemas legados on-premise e múltiplos SaaS, a proposta de uma camada de integração federada com governança centralizada tem valor prático.

Para PMEs, o diagnóstico honesto: o problema que Data Fabric resolve — heterogeneidade extrema de ambientes de dados — raramente é o problema prioritário de uma empresa de médio porte. O problema prioritário é ter dados confiáveis integrados das fontes principais em um data warehouse acessível. Isso se resolve com ETL/ELT bem implementado, não com arquitetura de fabric.

Data Fabric vale investigar quando: a organização opera em múltiplas clouds por razão legítima, há sistemas on-premise que não podem ser migrados e precisam ser integrados, e há exigências de governança que precisam ser aplicadas de forma consistente em ambientes heterogêneos. Mesmo nesse contexto, começar pelo problema específico mais doloroso — não pela arquitetura completa — é o caminho mais rápido para valor.