Data Engineer – Spark & Scala (Big Data)

Importante empresa se encuentra en búsqueda de un(a) Analista Big Data, quien será responsable de diseñar y construir soluciones de procesamiento de datos a gran escala, con foco en arquitectura de alta disponibilidad y procesamiento en tiempo real.

Proceso gestionado por Kibernum – contratación directa por cliente.

Principales responsabilidades

• Diseñar y desarrollar pipelines ETL/ELT en entornos Big Data (Cloudera y nube).
• Implementar procesamiento distribuido utilizando Spark y Scala (crítico).
• Optimizar consultas y estructuras en bases de datos SQL (Oracle y PostgreSQL).
• Desarrollar flujos de datos en tiempo real mediante Kafka.
• Automatizar procesos con scripting en Unix/Shell.
• Gestionar versionamiento y despliegues con Git y CI/CD.
• Colaborar en el diseño de arquitecturas escalables (APIs y microservicios).
• Asegurar estándares de calidad, seguridad y performance.

Requisito...