Requisitos:

• Se requiere una licenciatura en informática o campos de sistemas de información, o más de 5 años de experiencia laboral relacionada.
• Fuertes habilidades analíticas y de pensamiento crítico utilizadas para resolver problemas complejos.
• Sólida formación técnica con una combinación de habilidades de desarrollo y automatización.
• Excelente atención a los detalles y cumple constantemente con los plazos.
• Comunicación excepcional y habilidades interpersonales.
• Capacidad para trabajar junto a un equipo altamente colaborativo, pero también con iniciativa propia, capaz de trabajar de forma independiente con poca orientación.
• Experiencia en solución de problemas, ajuste de rendimiento y optimización.
• Competente en shell scripting, Python, Scala u otros lenguajes de programación.
• Conocimiento de Spark / PySpark.
• Excelente conocimiento de SQL , capacidad para leer / escribir consultas SQL.
• Experto en Hive (HQL) y HDFS.
• Experiencia trabajando con conjuntos de datos estructurados y no estructurados, incluidos archivos planos, JSON, XML, ORC, Parquet y AVRO.
• Cómodo trabajando con entornos de big data y manejando grandes conjuntos de datos diversos.
• Competente en entornos Linux.
• Familiaridad con herramientas de gestión/versiones de código fuente como Github.
• Comprensión de los principios y mejores prácticas de CI / CD en el procesamiento de datos.
• Experiencia en la creación de paneles de visualización de datos para capturar métricas de calidad de datos utilizando herramientas como Tableau, Big Data Studio.
• La comprensión de las tecnologías de nube pública como AWS, GCP y Azure es una ventaja.

Responsabilidades:

Como ingeniero de operaciones de datos, será responsable de monitorear y administrar el mantenimiento de múltiples canalizaciones ETL de datos, que impulsan cientos a miles de aplicaciones e informes críticos para el negocio, utilizados por muchos equipos en toda la organización, así como por clientes externos, todos los días.

Debido a la escala, variedad y complejidad de los procesos que apoyamos, se necesitan prácticas y herramientas estandarizadas o automatizadas para monitorear. Es su deber asegurarse de que el monitoreo alerte a Operaciones de datos sobre cualquier problema con las canalizaciones de datos, con la puntualidad y sensibilidad adecuadas.

Cualquier alerta debe ser tratada de manera oportuna y adecuada. Esto puede incluir una variedad de cosas, incluida la regeneración de trabajos, la comunicación con las partes interesadas, la definición y el desarrollo de mejoras de procesos a través del código, o actualizaciones de la documentación del proceso.

Además, ayudará con las consultas de soporte de producción de las partes interesadas sobre la calidad o la puntualidad de los datos en los informes. Finalmente, trabajará con otros equipos para facilitar la incorporación de nuevos productos y canalizaciones de datos en nuestro conjunto de procesos de producción admitidos. Se necesitan sólidas habilidades analíticas y de resolución de problemas para modelar, monitorear y solucionar problemas en los procesos de producción.

• Contribuir al mantenimiento, la documentación y la supervisión de las canalizaciones de datos admitidas.
• Analice continuamente los flujos de trabajo de datos admitidos en busca de oportunidades para mejorar la confiabilidad y la puntualidad frente a los SLA establecidos.
• Concebir, desarrollar y aplicar mejoras en los flujos de trabajo y la supervisión para minimizar la aparición y el impacto de los defectos.
• Comuníquese con las partes interesadas cuando los datos tengan errores o se retrasen, con planes y plazos claros para la recuperación y la prevención futura.
• Desarrolle modificaciones a los flujos de trabajo usando git y github
• Asistir con tickets de soporte de producción y consultas de consumidores de canalizaciones de datos compatibles.
• Facilite la incorporación de nuevos productos y canalizaciones a nuestro conjunto de procesos de producción admitidos.