Data Mesh

[kassia.andrade]

Olá, tudo bem?

Hoje falarei um pouco sobre a aboradagem do Data Mesh. 

  O Data Mesh é um conceito novo, que parte do princípio em que os dados são vistos como Produto.
Nessa abordagem a arquitetura de dados funciona de forma descentralizada, em oposição ao uso do Data Warehouse que concentra informações em um local centralizado. 

  O grande objetivo do Data Mesh é permitir uma maior escalabilidade na analise de dados , garantindo o compartilhamento e disponibilidade dos dados de uma forma mais rápida e eficaz dentro e fora da organização.
Procura responder toda complexidade e volatilidade de uma empresa de grande porte, mantendo a agilidade diante do crescimento aumentando a proporção do valor dos dados em relação ao investimento.
Atualmente, e em grande parte das empresas, temos o modelo de arquitetura de dados centralizada, contendo uma equipe especializada em tratar os dados e transforma-los em produto(informação).
Na abordagem do Data Mesh, essa equipe centralizada continuaria com o trabalho de analise mas cada parte da organização teria a obrigação de gerar dado como produto, fazendo com que os dados se tornassem disponíveis 
quase que em tempo real, pois os dados sairiam da fonte já como produto pronto para uso em analise, seja para a criação de relatório, responder chamados de clientes com base em informações específicas ou Machine Learning.
Nessa arquitetura, o dado não passaria por todo o processo de ETL como é feito no formato centralizado de extração de dados da  fonte, processamento, tratamento e armazenamento.
O dado sairia pronto da fonte para uso, reduzindo o tempo de tratamento deste, ocasionando assim na rapidez da disponibilidade desse produto de dados.

Algumas características do Data Mesh: 

• Sistemas operacionais e analíticos são integrados.  
• Os dados são vistos como Produto.
• Estrutura de dados descentralizada.
• Acessibilidade aos dados quase em tempo real.
• Dados e código como uma unidade e não como um subproduto de dados do código.
• Dados como um produto para compartilhar e não como ativo a ser coletado.

    Por fim, o Data Mesh ainda é pouco implementado e é uma abordagem um tanto utópica em alguns aspectos.  
Seria um sonho termos dados disponíveis em um curto espaço de tempo sem gasto de tempo em tratamento e processamento dos dados.
Em contrapartida, para que isso fosse possível seria necessário equipes especializadas em dados dentro de todos os departamentos da empresa de forma descentralizada,uma arquitetura com fonte de dados interligada com as demais fontes  e uma grande  mudança na cultura de dados, consequentemente implicando em um custo um tanto alto.

Agora reflita um pouco..será que uma arquitetura descentralizada seria a resposta para muitos problemas de processamento, pipeline e burocracia na área de dados ? 

Referencia: Data Mesh(entregando valor em escala e orientado a dados) por Zhamak Dehghani.