Configuração da sua plataforma de dados Azure

Uma plataforma de dados Azure é um conjunto de serviços Azure que reúne e processa os seus dados e os disponibiliza para relatórios e IA. Normalmente inclui Azure Data Lake Storage para o armazenamento, Azure Data Factory para o carregamento de dados, uma camada de processamento como Azure Databricks ou Microsoft Fabric, e Key Vault e Microsoft Entra ID para a gestão de segredos e acessos.

Para saber como organizar os dados em camadas, leia sobre a criação de um data lakehouse. A plataforma faz parte da nossa fundação de dados.

O Azure Data Factory é o serviço cloud gerido da Microsoft para ETL, ELT e integração de dados. As pipelines copiam dados e iniciam notebooks, procedimentos armazenados ou outras etapas, segundo um agendamento ou após um evento.

Se uma fonte estiver na sua própria rede, como um SQL Server nas suas instalações, instale um self-hosted integration runtime num servidor que consiga aceder a essa fonte. Também é necessário para fontes que exigem um driver próprio, como SAP HANA e MySQL.

A Microsoft apresenta o Data Factory no Microsoft Fabric como a próxima geração do Azure Data Factory e recomenda que as novas equipas comecem por aí. É possível migrar as pipelines existentes.

Mas a migração implica mais do que copiá-las: no Fabric, os conjuntos de dados são definidos na própria atividade, as ligações não suportam propriedades dinâmicas e os Mapping Data Flows podem ser migrados para o Dataflow Gen2, onde essa funcionalidade ainda está em preview. Se o seu Data Factory funciona bem e optar pelo Databricks como camada de processamento, não há motivo para ter pressa.

Comece pela sua equipa e pelas necessidades de relatórios. Se a equipa trabalha com Python e Spark e precisa de colocar modelos em produção, o Azure Databricks é uma boa opção. Se o Power BI é a ferramenta padrão e pretende gerir menos infraestrutura, o Fabric é uma boa opção.

Para os pools SQL dedicados no Synapse, a Microsoft disponibiliza um assistente de migração para o warehouse do Fabric e recomenda manter os sistemas antigo e novo em paralelo durante algum tempo. As duas opções não se excluem: o Fabric pode espelhar o Unity Catalog do Azure Databricks para que o Power BI leia essas tabelas.

O Azure Data Lake Storage não é um serviço separado, mas um conjunto de funcionalidades de uma conta de armazenamento comum. Ativa-as com a definição de namespace hierárquico. Assim, os ficheiros ficam em pastas reais e pode gerir as permissões com Azure RBAC e ACLs ao nível da pasta ou do ficheiro.

Os dados são encriptados com chaves geridas pela Microsoft ou com as suas próprias chaves. O Fabric pode usar um atalho para ler dados dessa conta de armazenamento sem os copiar.

As palavras-passe e as chaves ficam guardadas no Azure Key Vault, e o Data Factory obtém-nas através da sua managed identity. O Unity Catalog no Azure Databricks também pode usar uma managed identity para aceder ao armazenamento, evitando segredos que tenham de ser renovados.

Para a rede, utilize Private Link. No Data Factory, isto funciona através de uma rede virtual gerida com managed private endpoints, o que ajuda a evitar a fuga de dados. O Databricks pode funcionar na sua própria rede virtual, com Private Link para utilizadores e recursos de computação.

A Microsoft descreve um processo definido para o Data Factory. Os programadores trabalham numa instância de desenvolvimento do Data Factory ligada ao Git, cada um na sua própria branch. Depois de aprovada uma pull request, a alteração passa pelo Azure Pipelines para o ambiente de teste e, em seguida, para produção, com templates do Resource Manager para cada ambiente.

Definimos os próprios recursos Azure em Terraform, como fizemos na plataforma de dados da Vivara. Após a entrada em funcionamento, podemos assegurar a gestão e melhoria contínua da plataforma.

Quando produz relatórios a partir de poucas fontes e ninguém quer gerir os recursos Azure. Nesse caso, o Microsoft Fabric é mais simples enquanto serviço SaaS, ou pode bastar um bom dashboard Power BI ligado à fonte.

Uma nova plataforma também não resolve os problemas de uma fonte desorganizada; nesse caso, comece por definir regras para a introdução dos dados. Se uma solução mais simples for suficiente, dizemo-lo. Se quiser comparar primeiro os fornecedores, consulte a nossa análise de consultoras de plataformas de dados.