Liderei o desenvolvimento de pipelines ETL para Porto, orquestrando a integração de dados de transações de cartão de crédito do Apache Kafka para o data lakehouse usando Scala e Apache Spark, alcançando entrega de dados quase em tempo real e melhorando significativamente a eficiência operacional. Utilizei o Azure Data Factory para a ingestão em lote de arquivos e bancos de dados relacionais, aprimorando a eficiência operacional por meio do monitoramento de pipelines. Liderei uma equipe de alto desempenho com mais de 5 engenheiros de dados, orientando esforços colaborativos para criar soluções de dados e impulsionar a inovação em nossos projetos.
Liderei com sucesso a migração do banco de dados transacional local da empresa (Sigma Software) para a nuvem da AWS usando Scala e Apache Spark, otimizando escalabilidade e eficiência. Liderei a transição de bancos de dados de softwares concorrentes à medida que os clientes migravam para a Sigma Cloud da Segware. Ajustei habilmente as estruturas de dados, garantindo a qualidade dos dados e facilitando uma integração perfeita para os clientes que faziam a transição de plataformas concorrentes para a solução da Segware.
- Aprimorei o sistema de entrega de relatórios da General Electric automatizando os processos de ingestão de dados, reduzindo significativamente o tempo de resposta de 7 dias para 1 dia. - Elaborei relatórios de eficiência para a área de negócios, com foco específico na eficiência de turbinas eólicas.
Desenvolvi ferramentas de análise e soluções de software para empresas do mercado financeiro, utilizando ferramentas como Python e Apache Spark (Scala) para integração de dados entre sistemas.
Would you like to download CV's of freelancers? Check out our account options for recruiters.
You have reached the view limit of 10 freelancer profiles per 24 hours.
Looking for more freelancers? Post a project without obligation or sign up for a recruiter account.