Apache Airflow 3 Fundamentals: os conceitos que todo engenheiro de dados precisa
O Airflow é o orquestrador que mais uso. A certificação Fundamentals da Astronomer revisa a base e as mudanças grandes da versão 3.
por Gabriel Henrique · · 2 min de leitura · Read in English
Eu sou Gabriel Henrique, Data Engineer, e trabalho com Apache Airflow nas automações de governança e nos pipelines que mantenho. Em outubro de 2025 conquistei a Apache Airflow 3 Fundamentals, da Astronomer.
Fiz a prova já na versão 3, para revisar a base e entender o que mudou.
Os conceitos centrais
- DAG: o fluxo de trabalho, um grafo de tarefas sem ciclos.
- Tarefa e operador: a tarefa é uma etapa, e o operador define o que ela faz.
- Scheduler: decide quando cada tarefa deve rodar.
- Executor e workers: onde as tarefas realmente executam.
- Banco de metadados: guarda o estado de cada execução.
Agendamento sem surpresa
A maior parte das dúvidas de quem começa vem do agendamento. Os pontos que a prova cobra e que eu vejo dar problema em produção:
- start_date e schedule: juntos definem quando a primeira execução acontece.
- catchup: se ligado, o Airflow roda todos os intervalos passados desde o início. Esquecer isso em uma DAG nova pode disparar centenas de execuções.
- Data lógica: cada execução representa um intervalo de dados, e as tarefas devem usar essa data, e não a hora atual.
O que mudou no Airflow 3
O Airflow 3 foi a maior atualização em anos. Os pontos que mais afetam meu trabalho:
- Nova interface, reescrita do zero.
- Versionamento de DAGs, que mostra qual versão do código rodou em cada execução.
- Assets no lugar dos Datasets, para agendar por atualização de dados.
- Backfill gerenciado pelo scheduler, disparado pela interface ou pela API.
- Task SDK e execução remota de tarefas, separando o código das tarefas do núcleo do Airflow.
Connections e variables
Credenciais e configurações ficam em connections e variables, e não no código da DAG. Em ambiente corporativo, o certo é ligar isso a um gerenciador de segredos, para que nenhuma senha apareça no repositório.
Como estudar
A Astronomer oferece o material da prova de graça na Astronomer Academy. Rodar um Airflow local e quebrar coisas de propósito, como ligar o catchup ou mudar o start_date, ensina mais do que reler a teoria.
Próximo passo
A continuação natural é a Airflow 3 DAG Authoring, que fiz no mês seguinte e que trata de como escrever DAGs prontas para produção.
Veja os outros projetos no portfólio de Gabriel Henrique, Data Engineer. Eu sou Gabriel Henrique e escrevo sobre orquestração e engenharia de dados.