Implementação de dbt

O dbt é uma ferramenta para o T de ELT: transforma dados que já estão no seu warehouse ou lakehouse. Escreve um modelo como uma instrução SQL SELECT ou um dataframe em Python, e o dbt transforma-o numa view ou tabela e trata do DDL.

Os modelos referenciam-se entre si com ref(), pelo que o dbt conhece a ordem e a lineage. Os testes e a documentação ficam junto do código. O dbt não carrega dados dos sistemas de origem. É um dos componentes da sua fundação de dados.

O dbt Core é a versão de linha de comandos que instala e executa por sua conta. O dbt Cloud é o produto alojado, a que a dbt Labs agora chama dbt platform. Acrescenta um IDE no browser, agendamento de jobs, CI por pull request, documentação alojada e notificações. O Catalog e a Semantic Layer só estão disponíveis em determinadas subscrições.

O motor tem agora duas gerações. O dbt v1 é a versão em Python, ainda mantida e distribuída sob a licença Apache 2.0. O dbt v2 funciona num novo motor em Rust e é a instalação predefinida; o dbt OSS é a sua versão distribuída sob a licença Apache 2.0.

A dbt Labs recomenda três camadas. A camada Staging cria um modelo limpo por tabela de origem, com o prefixo stg_. A camada Intermediate combina dados e faz cálculos para um objetivo específico. Os marts disponibilizam as entidades com que a organização trabalha, como clientes e encomendas. Assim, os dados passam da estrutura da origem para a linguagem do negócio.

Comece com views; transforme em tabelas os modelos que o Power BI lê. Use modelos incrementais, que processam apenas linhas novas, quando as execuções se tornarem demasiado lentas.

Os data tests verificam os dados depois da construção do modelo: uma chave é única, não faltam valores, cada encomenda remete para um cliente existente? Os unit tests verificam a sua lógica SQL com um pequeno exemplo fixo antes da construção; a dbt Labs recomenda executá-los apenas durante o desenvolvimento e em CI.

Para os modelos de que outras equipas dependem, defina um contrato com os nomes das colunas e os tipos de dados; se o resultado não corresponder, o modelo não é construído. Saiba que regras deve monitorizar em melhorar a qualidade dos dados.

No Databricks, usa o adaptador dbt-databricks e executa o projeto como uma tarefa dbt no Lakeflow Jobs, num SQL warehouse. A identidade com que o job é executado precisa de permissões no Unity Catalog para o catálogo, o esquema e as tabelas que os modelos leem e escrevem. O Databricks recomenda fixar a versão do adaptador. Consulte implementação do Databricks.

No Fabric, existe um job dbt no Data Factory, ainda em preview, que executa o dbt Core num warehouse ou lakehouse. Consulte implementação do Microsoft Fabric.

Com um snapshot. O dbt regista cada alteração como uma nova linha, com as colunas dbt_valid_from e dbt_valid_to: uma slowly changing dimension de tipo 2. É preferível ter uma coluna updated_at; se não existir, o dbt compara as colunas que indicar.

Se os dados da origem chegarem demasiado tarde, o source freshness assinala-o com um aviso ou um erro. Atenção: o dbt build não executa esta verificação; é necessário adicioná-la como um passo separado no job.

Muitas vezes, na migração direta das views antigas: a mesma confusão passa a estar no dbt, apenas em Git. Sem um responsável por cada mart, o projeto também se torna uma teia de modelos que ninguém se atreve a remover.

Outras dificuldades são usar modelos incrementais demasiado cedo, não ter uma verificação de CI — pelo que os erros só são detetados em produção — e ter testes que emitem sempre avisos e, por isso, acabam por ser ignorados. O carregamento dos dados de origem pertence à data engineering; podemos tratar da manutenção posterior através da gestão e melhoria contínua.

Se criar alguns relatórios a partir de um único sistema e a lógica couber num só modelo do Power BI, o dbt acrescenta uma camada que alguém terá de manter. Da mesma forma, se a maior parte do trabalho envolver streaming ou processamento intensivo em Spark, esse trabalho pertence às pipelines; o dbt é adequado para os modelos que vêm depois.

E se ninguém na equipa quiser escrever ou rever SQL, um projeto dbt traz pouco valor. Se uma solução mais simples for mais adequada, dizemo-lo. Se quiser comparar fornecedores primeiro, consulte a nossa visão geral das consultoras de plataformas de dados.