Ingeniero de Datos en Cybernetic Controls Limited

Buscamos un Ingeniero de Datos Senior para unirse al equipo de rápido crecimiento. El candidato seleccionado se centrará en tareas de desarrollo y ETL (Extract, Transform, Load), utilizando herramientas como PySpark y servicios de computación en la nube de AWS. Esta es una oportunidad emocionante y desafiante para construir nuevos canales que combinen y procesen grandes cantidades de datos estructurados de diversas fuentes.

Responsabilidades:

• Diseñar y crear canalizaciones utilizando soluciones de computación en la nube de AWS para garantizar la solidez, mantenibilidad, eficiencia, escalabilidad, disponibilidad y seguridad de los datos.
• Desarrollar código Python y/o Spark (preferiblemente PySpark, pero también es bueno tener Spark-Scala) para implementar transformaciones de datos complejas.
• Diseñar y mantener bases de datos y API para el almacenamiento y la transmisión de datos entre aplicaciones.
• Trabajar en colaboración con otros miembros del equipo para lluvia de ideas, resolver problemas y revisar código.
• Servir de enlace con otros equipos de desarrollo para garantizar la integridad de las canalizaciones de datos.

Habilidades:

• Excelente programación en Python y PySpark, incluidos marcos de datos Pandas/PySpark y conexiones web y de bases de datos.
• Excelente comprensión de los procesos ETL dentro de Amazon Web Services (AWS), incluyendo Apache Spark, AWS Glue, Athena, S3, funciones escalonadas y formación de lagos.
• Experiencia en computación sin servidor (AWS Lambda, API Gateway, SQS, SNS, EventBridge, S3, etc.).
• Experiencia en diseño y gestión de bases de datos SQL y NoSQL, así como fuertes habilidades de codificación SQL.
• Experiencia en infraestructura como código (CloudFormation) y Shell Scripting (preferiblemente en entorno Linux).
• Experiencia en control de versiones con Git/Github y en principios, procesos y herramientas ágiles.
• Excelentes habilidades de comunicación escrita y verbal.

Requisitos:

• Experiencia en diseño, implementación y gestión de canales de datos de producción complejos que interactúan con una variedad de fuentes de datos.
• Fuerte experiencia con Amazon Web Services (AWS).
• Al menos 3 años de experiencia con herramientas de datos PySpark y AWS (en particular, Glue).
• Conocimientos en modelado de datos, arquitectura de canalización de datos e implementación de Big Data.
• Conocimiento de mejores prácticas del ciclo de vida del desarrollo de software.
• Licenciatura o equivalente en Informática o materia afín.

Beneficios:

• Paquete salarial competitivo.
• Contribución sanitaria privada.
• Revisión salarial anual.
• Eventos sociales regulares del equipo.
• Trabajar dentro de una cultura de innovación y colaboración.
• Oportunidad de desempeñar un papel clave en una empresa pionera en crecimiento.
• Se proporcionará un ordenador portátil de la empresa.