Como consultor engenheiro de dados, tive a oportunidade de trabalhar na Bayer. A Bayer é bem forte na agricultura brasileira e tive a oportunidade de trabalhar no projeto Intacta i2x, que tem como objetivo o desenvolvimento e aplição de uma tecnologia que evita a proliferação de lagartos da cultura da soja. Abaixo seguem as minhas atividades no projeto: - Desenvolvimento de pipelines de dados, realizando tratamento de dados em python e utilizando ferramentas da aws como S3, Glue e Lambda para disponibilizar os dados para o dw. - Monitoramento de cargas acessando os logs de retorno, através das ferramentas da aws: EMR, cloudwatch e airflow. Após o monitoramento, realização de envio de email informando status das cargas. - Análise nos dados para melhor solucionar as divergencias de dados. - Extração e tratamento de dados, criando dataframes, exportando para CSV ou parquet e inserindo os dados via AWS Glue. - Criação de funções SQL como views, CTE e subquerys no AWs Athena, incluindo as regras de negócio em tabelas com dados já tratados e disponibilização desses dados para ferramentas de BI. Competências: Data warehouse · Modelagem de dados · Comunicação · Banco de dados · Engenharia de dados · Análise de dados · Athena · Big data · AWS
Participei de um projeto da RaiaDrogasil , onde realizo processo de carga histórica em produção, através de ferramentas da plataforma Cloud Aws: Aws Athena - Realizo queries SQL para analisar os dados de determinada tabela e fazer uma comparação com os dados na origem (Oracle). Aws Ec2: Utilizo essa ferramenta para realizar a extração de carga histórica, através de servidores ssh. Aws S3 : Reservatório lógico de arquivos. Após a extração dos dados, são reservado no S3 e depois enviados para a camada work(ou prata), até o destino final que é a camada analítica no data lake. Aws Step Functions: Ferramenta de orquestração onde posso verificar se o procedimento foi bem sucedido. Aws Emr: Verifico no Cluster criado pela área determinada, se o procedimento está sendo e foi feito, da maneira esperada, assim como na Step Functions com a diferença de que no Emr, as informações são mais precisas.
O curso contém: Conceitos e fundamentos Modelo relacional e linguagem SQL Modelo dimensional Data warehouse moderno e data lake Nosql Introdução do ecossistema hadoop Spark Engenharia de dados com python Aplicações em streaming ETL e data crawlers
Curso voltado para análise de dados com SQL e PostgreSQL, abordando desde o básico até o nível avançado. O melhor do curso é o fato de ter projetos práticos envolvendo SQL, PostgreSQL e Excel. Com o Excel, desenvolvi gráficos dos resultados das queries.
Would you like to download CV's of freelancers? Check out our account options for recruiters.