Contratar um data engineer ou recorrer a um em regime de destacamento

O que a sua equipa precisar: disponibilizar novas fontes de dados, criar ou corrigir pipelines, definir modelos de dados, acrescentar testes e monitorização ou realizar uma migração. O data engineer trabalha como parte da sua equipa. Também temos experiência de trabalho integrado em equipas de clientes: na Waternet, criámos o workflow de MLOps como parte da equipa de Data Lab e continuamos a mantê-lo.

Os nossos data engineers são colaboradores da Data Science Lab. Tem um único ponto de contacto para a seleção, o onboarding e o acompanhamento, e continuamos envolvidos durante a prestação do serviço. O data engineer pode recorrer aos colegas, ao nosso laboratório interno e aos Techdays, onde partilhamos conhecimento. Se contratar um freelancer, cabe-lhe fazer a seleção e o acompanhamento, bem como definir as condições da prestação de serviços independente.

Desde 1 de janeiro de 2025, a autoridade tributária dos Países Baixos voltou a fiscalizar o falso trabalho independente. Para determinar se alguém trabalha, na prática, como trabalhador por conta de outrem, avaliam-se, entre outros fatores, a subordinação, a integração na organização e a autonomia enquanto profissional independente. Se contratar um trabalhador independente, essa é uma questão que lhe cabe avaliar enquanto cliente. Na contratação através da Data Science Lab, os nossos colegas são nossos colaboradores. Peça aos recursos humanos, ao departamento de compras ou a um consultor que analise a sua política de contratação.

Trabalham, entre outras ferramentas, com Python e SQL em Azure, Databricks e Microsoft Fabric. Para transformações e testes de dados, usamos frequentemente dbt e definimos a infraestrutura em código, por exemplo com Terraform. Para a Fokker Services Group, estamos a criar uma plataforma de dados com Databricks, Azure, dbt e SQL que limpa e modela os dados segundo a arquitetura medallion. Se utiliza Apache Airflow ou outra ferramenta, mencione-o na primeira conversa.

Uma conta no seu sistema de gestão de identidades, como o Microsoft Entra ID; acesso ao repositório e aos ambientes de desenvolvimento e teste; e permissões para os dados necessários ao trabalho. Atribua permissões através de grupos e apenas para o que for necessário, para poder revogá-las facilmente no final. Defina também quem é o responsável do lado do cliente, que normas se aplicam e onde está o backlog.

Incluindo a transferência de conhecimento desde o início. O código fica no seu repositório, as transformações têm testes e descrições, por exemplo em dbt, e as decisões de conceção são registadas num local onde a sua equipa as possa encontrar. Quando fizer sentido, o data engineer trabalha nas mesmas tarefas com um colega da sua equipa. A transferência de conhecimento acontece quando precisar, não apenas no final da prestação do serviço.

Se o trabalho for permanente, poderá ser melhor contratar diretamente alguém para a sua equipa. Se pretende um resultado, em vez de capacidade adicional, um projeto será mais adequado. Se o problema estiver em definições pouco claras ou na falta de responsabilidade pelos dados, mais trabalho de data engineering pouco resolverá; nesse caso, é melhor começar pela governação de dados. Se precisa apenas de relatórios, um especialista em BI será, muitas vezes, uma escolha mais lógica do que um data engineer.