O que é Lakehouse e por que ele substituiu o data warehouse tradicional

Lakehouse é uma arquitetura de dados que combina a flexibilidade de armazenamento de um data lake com os recursos de governança, performance de consulta e confiabilidade transacional de um data warehouse tradicional. Surgiu para resolver um problema prático: empresas normalmente precisavam manter as duas estruturas separadas, duplicando dados e esforço de engenharia entre elas.

Para entender por que o Lakehouse ganhou espaço, ajuda comparar os três modelos.

Data warehouse: estruturado, mas rígido

Um data warehouse armazena dados já estruturados, organizados em tabelas com esquema definido antes de qualquer dado entrar. Isso garante consultas rápidas e confiáveis, com forte governança, mas tem um custo: qualquer dado que não se encaixa no esquema definido exige trabalho de engenharia antes de poder ser armazenado. Dados não estruturados, como imagens, logs ou texto livre, normalmente não cabem bem nesse modelo.

Data lake: flexível, mas menos confiável

Um data lake resolve a rigidez armazenando dados em formato bruto, sem exigir estrutura definida antecipadamente. Isso permite guardar qualquer tipo de dado, estruturado ou não, a um custo de armazenamento bem menor. O problema é que, sem a governança de um warehouse, data lakes tendem a virar o que a indústria chama de "data swamp": um repositório desorganizado onde ninguém confia totalmente na qualidade do que está armazenado, e consultas analíticas ficam mais lentas e menos confiáveis.

Lakehouse: os dois em uma arquitetura só

O Lakehouse usa uma camada de metadados e transações (tecnologias como Delta Lake, Apache Iceberg ou Apache Hudi) sobre o armazenamento de baixo custo de um data lake. Isso adiciona ao data lake recursos que antes só existiam em data warehouses:

• Transações ACID, garantindo que leituras e escritas concorrentes não corrompam os dados.
• Aplicação de esquema (schema enforcement), evitando que dados de baixa qualidade entrem sem controle.
• Versionamento de dados, permitindo consultar o estado dos dados em um momento específico do passado.
• Performance de consulta comparável a um data warehouse tradicional, mesmo sobre grandes volumes de dados brutos.

O resultado é uma arquitetura única, que armazena dados estruturados e não estruturados no mesmo lugar, com governança e performance de warehouse, ao custo de armazenamento de um data lake.

Por que empresas estão migrando

Manter data lake e data warehouse separados significa duplicar pipelines: os dados entram no lake, depois uma parte é transformada e copiada para o warehouse para análise. Isso cria atraso entre o dado chegar e ficar disponível para análise, além de duplicar custo de armazenamento e esforço de engenharia para manter as duas cópias sincronizadas.

Consolidar em um Lakehouse elimina essa duplicação. Times de engenharia de dados, ciência de dados e BI passam a trabalhar sobre a mesma fonte de dados, em vez de fontes separadas que podem divergir entre si.

Quando migrar faz sentido

Migrar para Lakehouse costuma valer a pena quando a empresa já sente os dois problemas ao mesmo tempo: o data warehouse atual está limitado demais para lidar com a variedade de dados que o negócio gera, e o esforço de manter pipelines duplicados entre lake e warehouse está consumindo tempo de engenharia desproporcional ao valor entregue.

Empresas menores, com volume de dados mais simples e homogêneo, muitas vezes ainda não sentem esse problema o suficiente para justificar a migração. Não é uma arquitetura que toda empresa precisa adotar imediatamente, é uma resposta a um problema de escala e variedade que aparece em um certo estágio de maturidade de dados.

Se sua empresa está avaliando modernizar a arquitetura de dados atual, veja como a Méritos conduz esse tipo de migração na página de engenharia de dados e FinOps.