Engenheiro de Dados DataOps AWS

Sobre esta vaga

Você é movido(a) por tecnologia, dados e inovação? 🚀
Na , transformamos desafios complexos em soluções inteligentes. Somos uma empresa brasileira focada em Analytics, IA e transformação digital, ajudando organizações a tomar decisões mais estratégicas e gerar impacto real nos negócios.
Trabalhamos com diferentes setores do mercado, sempre combinando tecnologia de ponta, visão de negócio e execução ágil.
Se você quer construir soluções que fazem a diferença e crescer junto com um time de alta performance, seu lugar pode ser aqui.
👉 Vem para a e construa o futuro com a gente.
Principais responsabilidades

• Desenvolver, evoluir e sustentar pipelines de dados batch e streaming.

• Projetar e implementar soluções de engenharia de dados utilizando Databricks e serviços AWS.

• Atuar em práticas de DataOps, buscando automação, padronização, qualidade e confiabilidade dos processos de dados.

• Desenvolver e manter processos de CI/CD para pipelines, notebooks, jobs e componentes de dados.

• Implementar mecanismos de monitoramento, observabilidade, logging e alertas.

• Garantir qualidade, integridade, disponibilidade e rastreabilidade dos dados.

• Trabalhar com processamento e transformação de grandes volumes de dados.

• Desenvolver soluções utilizando Apache Spark / PySpark e SQL.

• Atuar na integração de diferentes fontes e sistemas de dados.

• Contribuir para definição e evolução da arquitetura de dados.

• Apoiar iniciativas de otimização de performance e custos de infraestrutura/cloud.

• Identificar e solucionar problemas de performance, falhas de pipelines e inconsistências de dados.

• Trabalhar em parceria com Data Analysts, Data Scientists, Arquitetos, times de Engenharia e áreas de negócio.

• Contribuir para definição de padrões, boas práticas e governança de engenharia de dados.

• Experiência sólida em Engenharia de Dados.

• Experiência com desenvolvimento de ETL/ELT e pipelines de dados.

• Conhecimento avançado de SQL.

• Experiência com Python e/ou PySpark.

• Conhecimento de arquitetura e processamento de dados em larga escala.

• Experiência com dados estruturados e semiestruturados.

• Experiência prática com Databricks.

• Conhecimento de Apache Spark / PySpark.

• Experiência com Delta Lake / Delta Tables.

• Conhecimento de Jobs, Workflows e mecanismos de processamento do Databricks.

• Conhecimento de boas práticas de performance e otimização de workloads.

O que valorizamos

• Forte senso de responsabilidade e compromisso com entrega

• Perfil proativo e colaborativo

• Capacidade de assumir desafios e levá-los até o fim

• Boa comunicação e facilidade para trabalhar com times multidisciplinares

• Curiosidade, vontade de aprender e evoluir constantemente

• Mentalidade de construção e melhoria contínua

Originally posted on Himalayas