Contratar um arquiteto de dados

Um arquiteto de dados define como os dados circulam na sua organização: de que fontes vêm, onde são armazenados, em que camadas são tratados e quem lhes pode aceder. Depois, assegura que as equipas desenvolvem dentro desse enquadramento.

Na Data Science Lab, um colega experiente assume esta função, com foco na estratégia, na plataforma ou na governance. Consulte na página de apresentação as funções para as quais disponibilizamos profissionais.

O arquiteto decide a estrutura: que plataforma usar, que camadas criar e que regras definir para a nomenclatura e o acesso. O engenheiro constrói as pipelines e os modelos de dados dentro dessa estrutura.

Numa equipa pequena, é frequente a mesma pessoa desempenhar ambas as funções. Quando a plataforma cresce ou passa a ser utilizada por mais equipas, compensa separar a função de arquitetura, para que alguém mantenha uma visão global enquanto os outros desenvolvem.

Num architecture decision record, um registo de decisões. Segundo a Microsoft, cada registo descreve o contexto, as opções consideradas, o resultado e os compromissos envolvidos, com um estado como proposto, aceite ou substituído. Se uma decisão mudar, cria-se um novo registo que substitui o anterior.

Assim, a sua equipa pode mais tarde verificar por que motivo algo foi construído daquela forma. O arquiteto testa antecipadamente os componentes de maior risco com uma prova de conceito.

Depende da utilização pretendida. No Fabric, a Microsoft recomenda um warehouse para relatórios SQL com suporte integral a transações e um lakehouse para grandes volumes de dados, dados semiestruturados e machine learning. Ambos estão no OneLake, num formato de tabela aberto.

A Databricks recomenda a arquitetura medallion: bronze para dados em bruto, prata para dados tratados e ouro para modelos e relatórios. É uma recomendação, não uma obrigação. Saiba mais sobre a construção de um data warehouse.

O acesso, a proveniência e a responsabilidade pelos dados devem fazer parte da arquitetura desde o início; acrescentá-los mais tarde é difícil. Na Databricks, o Unity Catalog gere as permissões de acesso, acompanha a lineage — a proveniência dos dados — e regista atividades para auditorias. Os objetos recebem um nome com três níveis: catalog, schema e tabela.

Definir quem é responsável por cada definição é uma questão organizacional. Faz parte da governance de dados.

Segundo o Governo dos Países Baixos, a autoridade tributária neerlandesa voltou a fiscalizar situações de falso trabalho independente em 1 de janeiro de 2025. A avaliação de se alguém trabalha, na prática, como empregado tem em conta, entre outros fatores, a subordinação, a integração na organização e o exercício de uma atividade empresarial independente.

Um arquiteto de dados interino contratado através da Data Science Lab é nosso empregado. Se contratar um profissional independente, essa questão fica do seu lado. Peça aos recursos humanos, à equipa de compras ou a um consultor que avaliem a sua política de contratação.

O registo de decisões, os documentos de arquitetura e as regras acordadas ficam no seu repositório, não no nosso. Quando fizer sentido, o arquiteto trabalha com um colega da sua organização que posteriormente assume a função.

Se um dos nossos colegas se integrar tão bem que queira contratá-lo de forma permanente, podemos conversar sobre essa possibilidade.

Se tiver uma única fonte de dados e alguns dashboards, um arquiteto dedicado é excessivo; um engenheiro experiente pode tomar essas decisões. Se a arquitetura já estiver definida, talvez precise antes de mais capacidade de desenvolvimento.

Se ainda não souber o que pretende alcançar com os dados, comece por uma avaliação da maturidade ou um roadmap de IA. Uma arquitetura sem objetivo acaba por ser apenas um diagrama na parede.