Contratar um engenheiro Databricks

Aquilo de que a sua equipa precisa em Databricks: carregar dados de diferentes fontes com Lakeflow Connect ou Spark, criar pipelines com Lakeflow, agendar tarefas em Lakeflow Jobs, gerir permissões e lineage em Unity Catalog ou definir jobs e pipelines como código.

O engenheiro trabalha como parte da sua equipa, nas tarefas planeadas pela sua equipa. Saiba como funcionam a seleção e a integração na página de cedência de profissionais. A nossa página de parceiros explica como colaboramos com a Databricks.

Um engenheiro Databricks conhece os componentes da própria plataforma: Delta Lake, onde todas as tabelas em Databricks são armazenadas por predefinição, Unity Catalog, Lakeflow, serverless compute e SQL warehouses. Isto importa se já utiliza Databricks ou está a migrar para a plataforma.

Se o trabalho consiste sobretudo em disponibilizar fontes de dados e criar modelos de dados, independentemente da plataforma, um data engineer com experiência mais ampla será mais adequado.

Sim, desde que o engenheiro tenha permissões de administrador da conta ou trabalhe com o administrador da sua equipa. Os workspaces criados depois de 8 de novembro de 2023 têm Unity Catalog automaticamente. Nos workspaces mais antigos, é preciso configurar identidades ao nível da conta, associar o workspace a um metastore, migrar as tabelas e adaptar as queries e os jobs.

Para migrações maiores, a Databricks Labs disponibiliza as ferramentas UCX. Depois, desativam-se as funcionalidades antigas para que ninguém contorne as novas permissões.

Ao executar cada carga de trabalho no compute adequado de menor custo. As pipelines agendadas são executadas em job compute, que, segundo a Databricks, custa consideravelmente menos do que all-purpose compute. As cargas de trabalho SQL devem ser executadas num SQL warehouse.

Além disso, o engenheiro atribui tags aos workspaces e clusters por equipa ou projeto desde o início, porque as tags não podem ser aplicadas retroativamente. Depois, pode consultar o consumo por tag na tabela de sistema system.billing.usage.

Os nossos engenheiros Databricks são colaboradores da Data Science Lab, que os coloca junto dos clientes. Tem um único ponto de contacto para a seleção, integração e acompanhamento, e o engenheiro pode recorrer a colegas de outras especialidades.

No caso de um freelancer, é o cliente que avalia a qualidade. Desde 1 de janeiro de 2025, a autoridade tributária neerlandesa voltou a fiscalizar situações de falso trabalho independente. Cabe-lhe, enquanto cliente, avaliar se a missão é adequada para um profissional independente.

Uma conta no seu sistema de gestão de identidades, como o Microsoft Entra ID, disponibilizada ao nível da conta em Databricks. Atribua permissões através de um grupo em Unity Catalog, apenas para os catálogos e esquemas necessários ao trabalho, para as poder revogar facilmente no fim.

Prepare também o acesso ao repositório e ao ambiente de desenvolvimento e registe quem é o cliente e quais são as normas aplicáveis.

Definindo jobs e pipelines como código, em vez de os criar manualmente no workspace. Com Declarative Automation Bundles, anteriormente Databricks Asset Bundles, os jobs, as pipelines e as respetivas configurações ficam junto do código no seu repositório, com revisão e CI/CD.

Quando fizer sentido, o engenheiro trabalha nas mesmas tarefas que um colega da sua equipa. A transferência de conhecimento acontece quando for mais útil para si, não apenas no fim da missão.

Se o trabalho for permanente, poderá ser preferível contratar alguém diretamente. Se pretende uma plataforma entregue, e não capacidade adicional, um projeto será mais adequado. Se o problema estiver nas definições ou na responsabilidade pelos dados, mais trabalho de engenharia pouco ajudará; comece antes por governança de dados.

Quer comparar primeiro os fornecedores? Consulte o nosso panorama de parceiros Databricks nos Países Baixos.