Uma plataforma para os seus dados e o Power BI, com workspaces, permissões e capacidade configurados corretamente desde o início.
Com a confiança de organizações de referência
Uma implementação do Microsoft Fabric reúne OneLake, lakehouses ou warehouses, pipelines e modelos Power BI num ambiente gerido, com regras definidas para a capacidade, as permissões e a disponibilização. A Data Science Lab configura este ambiente para organizações que já utilizam Microsoft 365, Azure ou Power BI e querem substituir relatórios dispersos por uma única base fiável.
Muitas vezes, tudo começa com uma capacidade de avaliação e um analista entusiasmado. Pouco depois, já existem workspaces chamados 'Test Jan' e 'Sales nieuw', três Dataflows Gen2 importam as mesmas tabelas do ERP, cada um à sua maneira, e cada relatório Power BI está ligado ao seu próprio modelo semântico. Na reunião sobre as receitas, surgem dois valores diferentes.
Durante o fecho mensal, uma atualização exigente corre na mesma capacidade que os relatórios do responsável pelo controlo de gestão. O Fabric distribui o consumo em segundo plano ao longo de 24 horas, mas uma capacidade sobrecarregada começa por atrasar os novos pedidos interativos e depois recusa-os. O responsável pelo controlo de gestão depara-se com um relatório que não carrega.
A tecnologia raramente é a causa. Falta uma estrutura para os workspaces, um responsável por cada dataset e um processo definido para a passagem a produção. É uma questão tanto de data governance como de engenharia.
O OneLake disponibiliza um único data lake lógico por tenant. Organizamo-lo em domínios e workspaces por departamento ou camada de dados, para tornar clara a responsabilidade pelos dados e permitir que as equipas utilizem as tabelas umas das outras através de shortcuts, sem as copiar.
Se a sua equipa trabalha com Spark e notebooks, um lakehouse é uma escolha natural; para T-SQL com transações que abrangem várias tabelas, um warehouse é mais adequado. Uma organização comum, também descrita na documentação da Microsoft, usa um lakehouse para as camadas bronze e prata e um warehouse para a camada ouro.
As pipelines do Data Factory orquestram as etapas de carregamento, o Dataflows Gen2 serve quem trabalha com low-code e os notebooks tratam das transformações mais exigentes. O mirroring mantém fontes como Azure SQL Database, SQL Server ou Snowflake sincronizadas com o OneLake quase em tempo real.
Um modelo semântico em modo Direct Lake lê tabelas Delta do OneLake sem uma atualização completa por importação. É adequado para a camada ouro, desde que as tabelas sejam bem mantidas e respeitem os limites da sua capacidade. Leia também sobre dashboards Power BI.
Distribuímos os workspaces por capacidades F-SKU, acompanhamos a utilização na aplicação Capacity Metrics e ativamos a surge protection para que as tarefas em segundo plano não bloqueiem os relatórios de outras pessoas. Pode colocar uma capacidade em pausa quando não está a ser utilizada.
As funções dos workspaces atribuídas através de grupos, a segurança do OneLake ao nível da linha e da coluna e as etiquetas de confidencialidade do Microsoft Purview determinam quem pode ver o quê. A integração com Git através de Azure DevOps ou GitHub e as deployment pipelines permitem levar as alterações a produção de forma controlada.
Analisamos consigo as suas fontes de dados, relatórios e licenças e discutimos um primeiro caso de uso.
Fazemos o levantamento das fontes de dados, dos workspaces do Power BI, dos modelos semânticos, dos gateways e do consumo de capacidade, para que saiba o que pode reutilizar e o que precisa de ser reconstruído.
Escolhemos entre lakehouse e warehouse para cada camada, definimos os domínios e os workspaces e acordamos quem é responsável por cada dataset.
Desenvolvemos uma aplicação desde a fonte até ao relatório, passando pelas camadas bronze, prata e ouro até chegar a um modelo semântico. Os utilizadores comparam os resultados com os seus valores atuais.
A partir desse primeiro caso de uso, trabalhamos com integração com o Git, deployment pipelines e workspaces separados para desenvolvimento, testes e produção, com permissões de acesso geridas através de grupos.
Acompanhamos o consumo interativo e em segundo plano ao longo de um ciclo mensal completo, incluindo o fecho do mês, e depois ajustamos a capacidade ou a distribuição dos workspaces.
A sua equipa recebe documentação e explicações para continuar a desenvolver a plataforma, ou nós gerimos e desenvolvemos a plataforma após a entrada em funcionamento.
A colaboração com a DSL permitiu-nos transformar os nossos dados em ações concretas, o que resultou em campanhas e ativações direcionadas e eficazes.
O Fabric é uma plataforma SaaS no seu tenant da Microsoft. É mais adequado se o Power BI já for o padrão na sua organização, as suas fontes de dados estiverem sobretudo em serviços Microsoft ou em bases de dados comuns e a sua equipa preferir trabalhar com SQL, low-code e notebooks em vez de gerir clusters. Incluímo-lo no nosso serviço de fundação de dados.
O Fabric aproveita o que já tem. Os espaços de trabalho do Power BI Premium podem ser migrados para uma F-SKU, pode espelhar bases de dados em vez de voltar a carregar os dados e migramos o trabalho do Azure Synapse objeto a objeto. Os ambientes antigo e novo funcionam em paralelo até os resultados coincidirem.
Se o seu foco estiver em data engineering e machine learning com Python e Spark, se trabalhar em AWS ou Google Cloud ou se já tiver um ambiente Databricks maduro, leia também a nossa abordagem à implementação do Databricks. As duas opções não se excluem: o Fabric pode espelhar o catálogo do Azure Databricks, permitindo ao Power BI ler essas tabelas sem criar uma cópia.
Qualquer organização pode iniciar um projeto-piloto de IA. O desafio está no passo seguinte: integrar a IA na organização. É aí que a Data Science Lab faz a diferença.
Saiba mais sobre nós
10+
8,7
200+
Configuramos os componentes que realmente vai utilizar: OneLake com domínios e workspaces, lakehouses ou warehouses para cada camada de dados, pipelines ou mirroring para carregar os dados e modelos semânticos para o Power BI. Definimos também permissões, etiquetas de confidencialidade, integração com Git e deployment pipelines. Fica com um primeiro caso de uso funcional numa plataforma que a sua equipa pode expandir sem ter de começar de novo.
A Microsoft já não vende novas P-SKUs e as subscrições existentes terminam quando os respetivos contratos expiram. Nessa altura, transfere os seus workspaces para uma F-SKU do Fabric, de preferência na mesma região, e os relatórios e as aplicações continuam a funcionar. Tenha atenção às licenças: a partir da F64, os utilizadores com uma licença gratuita podem consultar os conteúdos; nas F-SKUs mais pequenas, cada utilizador precisa de uma licença Pro ou PPU.
Sim, mas conte com um processo de cópia e adaptação, não com uma migração feita com um só clique. A Microsoft disponibiliza assistentes de migração para dedicated SQL pools e notebooks Spark. Alguns tipos de dados mudam: datetimeoffset não existe no warehouse do Fabric, pelo que a informação sobre o fuso horário passa para uma coluna separada. Fazemos a migração em pequenos passos e comparamos os resultados com os do ambiente antigo.
Medindo antes de aumentar a capacidade. A aplicação Capacity Metrics mostra que tarefas estão a consumir recursos, e muitas vezes a causa está na conceção: um dataflow que carrega demasiados dados ou tabelas Delta com demasiados ficheiros pequenos. O Surge protection rejeita tarefas em segundo plano antes de os utilizadores interativos serem afetados, e os relatórios críticos podem ter capacidade própria.
Concedemos acesso através de grupos nas funções de workspace Admin, Member, Contributor e Viewer. Dentro do OneLake, as funções de segurança limitam o acesso a pastas, tabelas, linhas ou colunas, e essas regras aplicam-se em SQL, Spark e Power BI. As etiquetas de confidencialidade e as políticas DLP do Microsoft Purview protegem os dados sensíveis, e o registo de auditoria mostra quem fez o quê.
Somos Microsoft Partner e ajudamos organizações com dados e IA desde 2016. Para a See Tickets, reunimos dados de bilhética e de comportamento numa plataforma Azure escalável para modelos de recomendação que aprendem continuamente. Para a Ammega, criámos dashboards Power BI e uma aplicação Power BI para gestão, planeamento e finanças. Também disponibilizamos data platform engineers e especialistas de BI para integrar as equipas dos clientes.
Se os seus relatórios assentam em alguns modelos Power BI que funcionam bem e não vão ser acrescentadas novas equipas nem fontes, o Fabric traz sobretudo mais trabalho de gestão. Nesse caso, melhorar o modelo de dados ou a ligação a uma fonte será mais útil. Se já existe um lakehouse a funcionar bem no Databricks, muitas vezes basta ligá-lo ao Power BI. Dizemos-lhe com franqueza quando um passo mais pequeno é suficiente.
E-mail info@datasciencelab.nl
Telefone +31 (0)20 3636 724
Diga-nos que fontes, relatórios e licenças tem atualmente. Pensamos consigo num primeiro caso de uso e no que é necessário para o colocar em produção.
Mensagem enviada
Obrigado pela sua mensagem. Entraremos em contacto consigo o mais rapidamente possível.
