Sobre o Projeto
Este projeto implementa uma arquitetura moderna de engenharia de dados no Microsoft Azure, com foco em ingestão, transformação e visualização de dados públicos com valor social. A solução foi construída do zero utilizando Terraform, Data Factory, Azure Data Lake Gen2, Databricks (PySpark), Synapse Analytics e Power BI, aplicando práticas robustas de governança, automação e versionamento. A pipeline cobre todo o fluxo: da coleta de dados brutos em APIs e repositórios públicos, passando pela modelagem em camadas (bronze, silver, gold), até a disponibilização em dashboards interativos. Todos os códigos foram versionados no GitHub, e as credenciais sensíveis foram protegidas conforme boas práticas.
Fluxo da Arquitetura
Diagrama simplificado do pipeline de dados em nuvem com serviços Azure:
Sobre Mim
Sou profissional com mais de 5 anos de experiência na área de dados, atuando com análise, engenharia de dados e business intelligence. Tenho expertise no desenvolvimento de pipelines de dados de ponta a ponta, modelos analíticos, integrações entre sistemas e soluções orientadas à tomada de decisão.
Possuo certificações oficiais da Microsoft:
PL-300: Power BI Data Analyst Associate
DP-900: Azure Data Fundamentals
(em preparação para a DP-600: Fabric Analytics Engineer Associate)
Já projetei arquiteturas completas na Microsoft Azure, integrando serviços como Data Factory, Data Lake Storage Gen2, Azure SQL Database, Synapse Analytics, Databricks (PySpark) e Power BI, com foco em escalabilidade, governança e reprodutibilidade via IaC.
Acredito que dados só geram valor real quando transformados em soluções aplicáveis. Minha missão é aplicar tecnologia com propósito — entregando produtos de dados que apoiam decisões estratégicas e geram impacto positivo.
Repositório no GitHub
Acesse o código-fonte completo:
github.com/Sanivaldo/data-engineer-azure-dados-publicos
Dashboard
Link do dashboard Power BI (em breve)
Stack Técnica
- 💻 Linguagens: Python, SQL, DAX
- ☁️ Cloud: Microsoft Azure (Data Factory, Data Lake Gen2, Synapse, SQL Database)
- 📈 Business Intelligence: Power BI
- 🛠️ Infraestrutura: Terraform (Infraestrutura como Código)
- 📊 Processamento: Databricks (PySpark), Synapse Spark
- 🔐 Segurança: RBAC, autenticação com Service Principal, GitHub Secrets
- 📁 Versionamento: GitHub (repositório com código de IaC, pipelines e notebooks)
Contato
- 📞 Telefone: +55 31 99341-6957
- 🔗 LinkedIn: linkedin.com/in/samuelcalado
- 📧 Email: samuelcalado1@hotmail.com