DP-750: como a certificação de Azure Databricks conversa com a minha migração de SAS

Eu sou Gabriel Henrique, Data Engineer em um grande banco, e lidero a modernização de rotinas legadas em SAS para o Databricks no segmento Wealth Management. Em setembro de 2026 conquistei a Microsoft Certified: Azure Databricks Data Engineer Associate, emitida a quem passa na prova DP-750.

Neste artigo eu passo pelos temas da prova e mostro onde cada um aparece no meu trabalho.

O que a DP-750 cobre

• Lakeflow Declarative Pipelines para construir pipelines declarativos.
• Databricks SQL para consulta e consumo analítico.
• Governança com Unity Catalog.
• Otimização de performance.
• CI/CD com Databricks Asset Bundles.

Lakeflow Declarative Pipelines

Em um pipeline declarativo, eu descrevo as tabelas que quero e as regras de qualidade, e a plataforma cuida da ordem de execução, das dependências e do processamento incremental. As expectations deixam a regra de qualidade escrita junto da tabela: um registro inválido pode gerar alerta, ser descartado ou parar o pipeline.

Na migração de SAS, isso ajuda muito. Rotinas antigas costumam ter a validação misturada com a transformação. Separar as duas deixa claro o que é regra de negócio e o que é controle de qualidade.

Unity Catalog e governança

O Unity Catalog organiza os dados em três níveis, catalog.schema.tabela, e centraliza permissões e linhagem. Vindo de anos como Data Owner de um catálogo de dados, esse foi o tema em que me senti mais em casa.

Na prática, ele responde perguntas que antes davam trabalho: quem pode ler esta tabela, de onde ela vem e quem consome. Em um banco, essas respostas são exigência de auditoria.

Camadas canônicas e derivadas

O desenho que uso na migração tem uma camada canônica, com a versão confiável de cada entidade, e camadas derivadas para cada consumidor. Hoje os consumidores são o CRM legado e o Salesforce. As duas camadas ficam no Lakehouse, governadas pelo Unity Catalog.

Performance

Antes da certificação, eu já tinha cortado mais de 80% do tempo de processamento de ELTs legados com Spark no Databricks. A prova organiza esse conhecimento: layout de tabela Delta, clustering, compactação de arquivos pequenos e escolha de compute certo para cada carga.

CI/CD com Asset Bundles

Com os Databricks Asset Bundles, jobs, pipelines e configurações viram arquivos versionados no Git, com um alvo por ambiente (desenvolvimento, homologação e produção). A promoção para produção acontece por pipeline de CI/CD, e não por clique na interface.

databricks bundle validate -t dev
databricks bundle deploy -t prod

Isso é o que eu chamo de produtizar pipeline de ponta a ponta: do desenho e da modelagem até a promoção, a confiabilidade em produção e o monitoramento.

Dica para quem vai fazer a prova

Estude ligando cada tema a uma carga real. Pegue um job que você já conhece e pergunte: como ele ficaria declarativo, quem tem permissão nele no Unity Catalog e como ele seria promovido por bundle. Se você ainda não tem a base de nuvem, comece pela AZ-900.

No portfólio de Gabriel Henrique, Data Engineer você encontra os outros projetos e certificações. Eu sou Gabriel Henrique e escrevo sobre Databricks, governança e migração de legado.