Databricks/Python Developer Senior | Remote

Sobre esta vaga

.

• Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados;

• Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes;

• Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código;

• Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos;

• Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados;

• Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento;

• Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados;

• Manter documentação técnica abrangente para os processos e soluções implementadas.

• Experiência no desenvolvimento de soluções de dados utilizando Python;

• Experiência em construção e manutenção de pipelines de dados com Databricks (PySpark);

• Vivência com processamento, transformação e análise de grandes volumes de dados;

• Experiência com manipulação e tratamento de dados utilizando Pandas;

• Conhecimento em leitura, processamento e integração de dados XML utilizando Python ElementTree;

• Experiência com plataformas de nuvem, especialmente Microsoft Azure;

• Conhecimento em práticas de qualidade, integridade e monitoramento de dados;

• Vivência na definição e implementação de boas práticas de engenharia e arquitetura de dados.

Desejáveis:

• Experiência na colaboração com times de Engenharia de Dados, Analytics e Ciência de Dados;

• Conhecimento em otimização de performance de pipelines e processamento distribuído;

• Familiaridade com documentação técnica de processos, pipelines e soluções de dados.

Informações adicionais
Benefícios

• Vale-alimentação e/ou vale-refeição;

• Plano de saúde e plano odontológico;

• Plano de saúde para o seu pet;

• Auxílio home office (para vagas remotas);

• Kit de boas-vindas no onboarding;

• Seguro de vida;

• Zenklub, com acompanhamento psicológico e nutricional;

• TotalPass;

• Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce);

• Parcerias e descontos para o seu desenvolvimento;

• Acesso ao conteúdo UOL;

• Kit maternidade;

• Licença maternidade e paternidade estendidas;

• Programa de indicações.

Originally posted on Himalayas