Configurar o Unity Catalog

O Unity Catalog é a camada de governação do Databricks. Controla o acesso em cada query, regista a lineage e mantém um registo da atividade para auditoria. Tabelas, views, volumes, funções e modelos recebem um nome com três partes: catalog.schema.object.

Um metastore por região de cloud contém os catálogos de todos os workspaces dessa região. O Unity Catalog está ativado por predefinição nos workspaces criados após 8 de novembro de 2023. É um dos elementos da sua fundação de dados.

Primeiro, os utilizadores, grupos e service principals passam para o nível da conta, e os grupos locais do workspace tornam-se grupos da conta. Depois, associa-se o workspace a um metastore, migram-se as tabelas e atribuem-se permissões aos grupos.

Em seguida, as queries e os jobs passam a usar os novos nomes, os ficheiros são transferidos do DBFS para volumes e o compute passa a funcionar com Databricks Runtime 13.3 LTS ou superior. Para ambientes grandes, existe o UCX, uma ferramenta do Databricks Labs que começa por fazer uma avaliação. O Databricks não presta suporte formal ao UCX.

O Unity Catalog regista automaticamente a lineage das queries no Databricks, até ao nível da coluna, em todos os workspaces associados ao mesmo metastore. Pode ver que jobs, notebooks e dashboards alimentam ou utilizam uma tabela. As tabelas de sistema system.access.table_lineage e column_lineage conservam os registos durante um ano.

Há lacunas. Se mudar o nome de uma tabela ou coluna, perde-se a respetiva lineage. Se usar um caminho em vez do nome de uma tabela, não verá a lineage ao nível da coluna no Catalog Explorer. Pode adicionar o Power BI como objeto externo.

Sim. Um row filter é uma função SQL que determina, linha a linha, se um utilizador a pode ver, por exemplo, mostrando apenas a sua região. Um column mask apresenta um valor ocultado, como um BSN parcialmente ocultado.

Para aplicar estas regras a muitas tabelas, o Databricks recomenda o ABAC: políticas ao nível do catálogo ou do schema que utilizam governed tags. O Data Classification pode identificar e etiquetar automaticamente dados sensíveis. Cabe à sua organização decidir que dados são sensíveis e quem pode ver o quê.

Numa managed table, o Unity Catalog gere tanto o acesso como os ficheiros, em formato Delta ou Iceberg. O Databricks recomenda managed tables para novas tabelas, porque a manutenção e a otimização passam a ser automáticas.

As external tables encontram-se num caminho no seu próprio armazenamento, registado através de uma external location. São úteis durante uma migração, porque não é necessário mover os dados. De preferência, permita que outras ferramentas apenas leiam essas tabelas: escrever fora do Unity Catalog contorna as permissões, a auditoria e a lineage.

O compute tem de funcionar num modo de acesso do Unity Catalog: standard, em que vários utilizadores partilham um cluster, ou dedicated, para um utilizador ou grupo. O Databricks recomenda standard, a menos que uma workload precise de algo que esse modo não suporta, como Databricks Runtime for ML, GPUs, R ou RDDs.

Por isso, durante uma migração, analisamos todos os clusters e jobs. Assim, também identificamos runtimes antigos e código que depende diretamente de mounts.

O Unity Catalog é a ferramenta: aplica permissões, mostra a origem dos dados e regista os acessos. A organização define quem é responsável por um domínio, que definições se aplicam e quem aprova os acessos. Pode ler mais sobre isso em governação de dados.

Configuramos o catálogo para refletir esses acordos, com grupos responsáveis e pedidos encaminhados para o grupo correspondente. Se construirmos a plataforma, também podemos geri-la através do serviço de gestão e melhoria contínua.

Quando tem um workspace novo com uma pequena equipa e poucas tabelas. O Unity Catalog já está ativado; basta um catálogo por ambiente e permissões geridas através de alguns grupos.

Se ainda não tem a certeza de que o Databricks será a plataforma escolhida, comece por essa decisão. Em implementação do Databricks, explicamos como criamos um lakehouse; em parceiros, como comparamos o Databricks e o Microsoft Fabric.