Engenheiro(a) de Dados Pleno – Big Data / Spark

Sobre esta vaga

Engenheiro(a) de Dados Pleno – Big Data / Spark
Sobre a oportunidade
Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento, manutenção e otimização de soluções de processamento de dados na plataforma Client Contribution. O profissional será responsável por construir pipelines escaláveis, garantir a qualidade dos dados e contribuir para a evolução da arquitetura de Big Data em um ambiente ágil e orientado por boas práticas de engenharia.
Responsabilidades

• Desenvolver, manter e otimizar soluções de processamento de dados;

• Projetar e desenvolver processos de ETL e transformação de dados;

• Implementar e manter pipelines utilizando Apache Spark;

• Apoiar iniciativas de integração de dados entre diferentes sistemas;

• Analisar e solucionar incidentes relacionados a dados;

• Garantir a qualidade, performance e confiabilidade das soluções de dados;

• Trabalhar em conjunto com equipes multidisciplinares em ambiente Agile.

Requisitos obrigatórios

• Mínimo de 3 anos de experiência em Engenharia de Dados e desenvolvimento;

• Conhecimento sólido em SQL, incluindo:

• ANSI SQL;

• Hive SQL;

• Spark SQL;

• Experiência com Apache Spark;

• Conhecimento em pelo menos uma das seguintes linguagens:

•
Scala;

•
Python;

•
Java;

• Experiência com plataformas Big Data, como:

•
Azure Databricks;

•
Amazon EMR;

•
Hive;

•
Cloudera;

• ou outro ambiente baseado em Spark;

• Experiência com Qlik Sense para desenvolvimento de relatórios e dashboards;

• Vivência em ambientes de Integração Contínua (CI), DevOps e metodologias ágeis;

• Conhecimento em ferramentas como:

•
Git;

•
GitHub;

•
SonarQube;

•
Nexus;

• Capacidade de análise de requisitos e trabalho colaborativo;

• Inglês nível B2 ou superior.

• Espanhol nível B2 ou superior.

Diferenciais

• Interesse ou experiência no uso de ferramentas de Inteligência Artificial aplicadas à Engenharia de Dados;

• Conhecimento em automação de processos utilizando IA;

• Interesse em utilizar assistentes de desenvolvimento para aumentar produtividade, qualidade do código e eficiência das soluções analíticas.

Condições da posição

•
Atuação 100% remota;

• É obrigatória a disponibilidade para mudança futura para Portugal ou Espanha, caso seja necessário por questões de projeto, estratégia da empresa ou requisitos legais;

• Enquanto estiver no Brasil, o trabalho será realizado integralmente em regime remoto;

•
Os currículos deverão ser apresentados em inglês.

Originally posted on Himalayas