Engenharia de dados · Databricks · dados e automação
Pedro Oliveira
Construo projetos de dados em Databricks e registro as decisões, o código e o que acontece quando um agente de código participa do trabalho. Código e experimentos estão publicados em repositórios abertos.
1.01 projeto
Skills para o Genie Code
● em curso · catorze skills em uso
O Genie Code trabalha com skills, instruções que o orientam em domínios específicos. Skills nativas cobrem notebooks, Unity Catalog, dashboards e pipelines, mas não cobrem decisão arquitetural, convenções de nomenclatura nem padrões de revisão.
O agente de código sabe fazer bem o trabalho. Mas quem diz onde salvar, como nomear e o que registrar? Dá para ensinar isso ao agente?
Skills em Markdown, versionadas em Git, carregadas pelo Genie Code durante as sessões. Versão avaliada congelada por commit.
2.01 projeto
Pipeline de dados da CVM
● em curso · três etapas agendadas
Ingestão e tratamento das Demonstrações Financeiras Padronizadas (DFP) que as companhias abertas entregam à Comissão de Valores Mobiliários (CVM). Dado público e bruto, em pacotes anuais, com formato que muda de um ano para outro.
Como um pipeline que roda sozinho entrega o número certo, se a fonte muda de formato e a companhia republica um valor sem aviso?
PySpark sobre Delta Lake e Unity Catalog. Ruff e pytest em cada push, ambiente e jobs declarados em Databricks Asset Bundles.
3.01 ferramentas
Stack
4.01 trajetória
Experiência
5.01 formação