Ingeniero de Datos (Scala)

Buscamos un ingeniero de datos capacitado y experimentado que domine Hadoop MapReduce y Scala para unirse al equipo dinámico. Como ingeniero de datos, desempeñará un papel crucial en el diseño, desarrollo y mantenimiento de la infraestructura y canales de datos. Su experiencia en Hadoop MapReduce y Scala será esencial para crear soluciones de datos escalables y eficientes que permitan la toma de decisiones basada en datos en toda la organización. 

Responsabilidades:

• Cree y mantenga una arquitectura óptima de canalización de datos en múltiples fuentes de datos, incluidos datos con licencia y extraídos.
• Diseñar y desarrollar técnicas óptimas de procesamiento de datos: automatización de procesos manuales, entrega de datos, validación de datos y aumento de datos.
• Diseñe, desarrolle y optimice canalizaciones de datos y procesos ETL utilizando Hadoop MapReduce y Scala.
• Administre herramientas de análisis que brinden información procesable sobre el uso, la adquisición de clientes, la eficiencia operativa y otras métricas clave de desempeño empresarial.
• Diseñar y desarrollar integraciones API para alimentar diferentes modelos de datos.
• Diseñe e implemente nuevas funciones desde cero, asociándose con ingenieros de IA/ML para identificar fuentes de datos, brechas y dependencias.
• Identifique errores y problemas de rendimiento en toda la pila, incluidas herramientas de prueba y monitoreo del rendimiento para garantizar la integridad de los datos y una experiencia de usuario de calidad.
• Cree una infraestructura altamente escalable utilizando tecnologías de big data de SQL y AWS.
• Mantenga los datos seguros y cumpla con las reglas internacionales de manejo de datos.

Requisitos:

• Más de 7 años de experiencia profesional en el envío de código de alta calidad listo para producción.
• Sólidos fundamentos informáticos, incluidas estructuras y algoritmos de datos, sistemas operativos, redes informáticas, bases de datos, algoritmos y programación orientada a objetos.
• Experiencia en data pipelines, Hadoop MapReduce, Spark, Airflow y Scala.
• Experiencia en la configuración de canalizaciones de datos utilizando bases de datos SQL relacionales y NoSQL, incluidas Postgres, Cassandra o MongoDB.
• Experiencia con servicios en la nube para el manejo de infraestructura de datos como: Databricks, Snowflake, GCP, Azure o AWS.
• Éxito comprobado en la manipulación, procesamiento y extracción de valor de grandes conjuntos de datos heterogéneos.
• Fuertes habilidades analíticas relacionadas con el trabajo con conjuntos de datos no estructurados.
• Experiencia con sistemas de control de versiones, como Git.
• Excelentes habilidades de comunicación verbal y escrita en inglés.

Agradable tener:

• Licenciatura en Informática, Matemáticas o campo similar; Maestría o doctorado es una ventaja.
• Experiencia con diseño de ETL usando Apache Airflow.
• Se valorará la experiencia con escenarios en tiempo real, sistemas de baja latencia y entornos con uso intensivo de datos.