Para um projeto interno, arquitetei e construí uma plataforma de ETL em Python no Azure, que inclui uma API para orquestração. Para controlar os fluxos, utilizamos o ServiceBus. Essa plataforma tem a função de receber grandes volumes de arquivos fiscais, como SPED e Notas Fiscais, e executar cada etapa em microserviços. Os arquivos são ingeridos no Blob Storage e armazenados em Parquet para processamento no Databricks usando PySpark.
Arquitetei e construí a infraestrutura do DW e Data Lake na AWS, juntamente com uma API para o acesso controlado de outros sistemas, utilizando Django, Oracle e Docker. Para o ETL, criei um framework que expande as funcionalidades das pipelines Python Shell/Spark do AWS Glue, centralizando as configurações, permitindo o versionamento com o Git e o uso de CI/CD. Também utilizei o Parquet no Amazon S3 para armazenamento, mantendo o catálogo de dados atualizado e possibilitando o acesso através do Athena. Posteriormente, realizamos a migração para o GCP, transferindo alguns dos fluxos para o Dataflow, orquestrados no Cloud Composer e acessando os dados no Cloud Storage através do BigQuery.
Arquitetei e construí a infraestrutura do DW e Data Lake no GCP, com acesso aos dados no Cloud Storage através do BigQuery. Implementei o Metabase para a visualização dos dados e criei um sistema para o envio de arquivos com as informações do departamento de logística. Com base nisso, desenvolvi um algoritmo de predição de vendas utilizando regressão linear múltipla, melhorando a precisão da equipe de operações ao tomar decisões de contratação antecipada de motoboys. Além disso, fui responsável por realizar integrações com o UberEats e Rappi, utilizando técnicas de hacking, web scraping e crawler.
Atuei como responsável pelo ambiente de BI, utilizando Python, PySpark e a ferramenta de exploração de dados Looker. Desenvolvi um sistema para o departamento de marketing, utilizando o Django, e criei ferramentas, como um formulário dinâmico e um crawler, responsável pela coleta de dados dos sites de leads. Além disso, fui responsável por gerenciar todos os aspectos relacionados ao Google Analytics e ao Google Tag Manager, garantindo o monitoramento e a análise dos dados de desempenho do site e das campanhas de marketing.
Criei os relatórios e dashboards dos resultados das áreas de marketing e comercial para diretores, gerentes e coordenadores utilizando o Klipfolio. Também desenvolvi um sistema utilizando PHP e MySQL, que incluía relatórios mais detalhados e o upload de arquivos.
https://learn.microsoft.com/api/credentials/share/pt-br/flaviofgf/2FA8E04287DC17AA Habilidades medidas: Descrever os conceitos da nuvem Descrever a arquitetura e os serviços do Azure Descrever o gerenciamento e a governança do Azure
Would you like to download CV's of professionals? Check out our account options for recruiters.
You have reached the view limit of 10 freelancer profiles per 24 hours.
Looking for more freelancers? Post a project without obligation or sign up for a recruiter account.