Related skills
aws sql python pyspark amazon redshift📋 Description
- Ingestão e Extração: Desenvolver scripts Python/PySpark para consultar bases SQL Server e publicar em S3.
- Processamento (Arquitetura Medalhão): Construir pipelines entre Bronze e Prata com Python, PySpark e AWS Glue.
- Disponibilização de Dados: Entregar dados em OpenSearch (Fast Data) e Redshift para BI.
- Integração com Microsserviços: Colaborar com a camada de consumo; Node.js consulta OpenSearch.
- Visão Consultiva: Atuar com autonomia e indicar caminhos técnicos e arquiteturais.
- Criar e consumir APIs: dentro do ecossistema AWS (Lambda, Glue, S3).
🎯 Requirements
- Python sólido: código OO, estruturado e com testes (Pytest).
- Experiência com pipelines de dados: PySpark, AWS Glue, Mage.ai ou equivalente.
- AWS na prática: S3, Lambda, Redshift, Glue.
- Vivência com microsserviços e APIs — criação, integração e arquitetura.
- SQL e bases relacionais (SQL Server, PostgreSQL ou similar).
- CI/CD e versionamento: GitHub Actions, GitLab, Terraform ou equivalente.
🎁 Benefits
- Remoto — contratação no modelo PJ.
Meet JobCopilot: Your Personal AI Job Hunter
Automatically Apply to Engineering Jobs. Just set your
preferences and Job Copilot will do the rest — finding, filtering, and applying while you focus on what matters.
Help us maintain the quality of jobs posted on Empllo!
Is this position not a remote job?
Let us know!