Quando Usar Esta Habilidade

Use esta habilidade quando precisar:

• Gerar um documento ou explicação que inclua definição e contexto sobre o Fabric Lakehouse e suas capacidades.
• Projetar, construir e otimizar soluções de Lakehouse usando as melhores práticas.
• Entender os conceitos centrais e componentes de um Lakehouse no Microsoft Fabric.
• Aprender como gerenciar dados tabulares e não tabulares dentro de um Lakehouse.

Fabric Lakehouse

Conceitos Centrais

O que é um Lakehouse?

Lakehouse no Microsoft Fabric é um item que oferece aos usuários um local para armazenar seus dados tabulares (como tabelas) e dados não tabulares (como arquivos). Ele combina a flexibilidade de um data lake com as capacidades de gerenciamento de um data warehouse. Ele fornece:

• Armazenamento unificado no OneLake para dados estruturados e não estruturados
• Formato Delta Lake para transações ACID, versionamento e viagem no tempo
• Endpoint de análise SQL para consultas T-SQL
• Modelo semântico para integração com o Power BI
• Suporte para outros formatos de tabela como CSV, Parquet
• Suporte para quaisquer formatos de arquivo
• Ferramentas para otimização de tabelas e gerenciamento de dados

Componentes Chave

• Tabelas Delta: Tabelas gerenciadas com conformidade ACID e imposição de esquema
• Arquivos: Dados não estruturados/semiestruturados na seção Arquivos
• Endpoint SQL: Interface SQL somente leitura gerada automaticamente para consultas
• Atalhos: Links virtuais para dados externos/internos sem cópia
• Views Materializadas do Fabric: Tabelas pré-computadas para desempenho rápido de consultas

Dados tabulares em um Lakehouse

Dados tabulares na forma de tabelas são armazenados na pasta "Tabelas". O formato principal para tabelas em Lakehouse é Delta. Lakehouse pode armazenar dados tabulares em outros formatos como CSV ou Parquet; esses formatos estão disponíveis apenas para consulta Spark. As tabelas podem ser internas, quando os dados são armazenados na pasta "Tabelas", ou externas, quando apenas uma referência a uma tabela é armazenada na pasta "Tabelas", mas os dados em si são armazenados em um local referenciado. As tabelas são referenciadas através de Atalhos, que podem ser internos (apontando para outro local no Fabric) ou externos (apontando para dados armazenados fora do Fabric).

Esquemas para tabelas em um Lakehouse

Ao criar um lakehouse, os usuários podem optar por habilitar esquemas. Esquemas são usados para organizar tabelas do Lakehouse. Esquemas são implementados como pastas sob a pasta "Tabelas" e armazenam tabelas dentro dessas pastas. O esquema padrão é "dbo" e ele não pode ser excluído ou renomeado. Todos os outros esquemas são opcionais e podem ser criados, renomeados ou excluídos. Os usuários podem referenciar um esquema localizado em outro lakehouse usando um Atalho de Esquema, referenciando assim todas as tabelas no esquema de destino com um único atalho.

Arquivos em um Lakehouse

Arquivos são armazenados na pasta "Arquivos". Os usuários podem criar pastas e subpastas para organizar seus arquivos. Qualquer formato de arquivo pode ser armazenado em Lakehouse.

Views Materializadas do Fabric

Conjunto de tabelas pré-computadas que são atualizadas automaticamente com base em um cronograma. Elas fornecem desempenho rápido de consultas para agregações e junções complexas. Views materializadas são definidas usando PySpark ou Spark SQL e armazenadas em um Notebook associado.

Views Spark

Tabelas lógicas definidas por uma consulta SQL. Elas não armazenam dados, mas fornecem uma camada virtual para consulta. Views são definidas usando Spark SQL e armazenadas no Lakehouse ao lado das Tabelas.

Segurança

Segurança de acesso ao item ou plano de controle

Os usuários podem ter funções de workspace (Administrador, Membro, Colaborador, Visualizador) que fornecem diferentes níveis de acesso ao Lakehouse e seu conteúdo. Os usuários também podem obter permissão de acesso usando os recursos de compartilhamento do Lakehouse.

Acesso a dados ou Segurança do OneLake

Para acesso a dados, use o modelo de segurança do OneLake, que é baseado no Microsoft Entra ID (anteriormente Azure Active Directory) e controle de acesso baseado em função (RBAC). Os dados do Lakehouse são armazenados no OneLake, portanto, o acesso aos dados é controlado através das permissões do OneLake. Além das permissões em nível de objeto, o Lakehouse também suporta segurança em nível de coluna e linha para tabelas, permitindo controle granular sobre quem pode ver colunas ou linhas específicas em uma tabela.

Atalhos de Lakehouse

Atalhos criam links virtuais para dados sem cópia:

Tipos de Atalhos

• Interno: Link para outros Lakehouses/tabelas do Fabric, compartilhamento de dados entre workspaces
• ADLS Gen2: Link para contêineres ADLS Gen2 no Azure
• Amazon S3: Buckets AWS S3, acesso a dados entre nuvens
• Dataverse: Microsoft Dataverse, dados de aplicativos de negócios

…