Data engineer big data & cloud

Apply now

Location

hybrid, Alcobendas, MD, Spain

Commitment

Full Time

Level

Middle (2-4 years)

Required skills

Apache SparkScalaJavaClouderaApache HDFSApache HiveApache KuduApache SolrApache KafkaGoogle Cloud PlatformBigQuerydbtSQLPythonPub/SubDataflow

Job Description

Buscamos un perfil senior, con más de 3 años de experiencia, que asuma con autonomía la arquitectura y el desarrollo de una plataforma de datos centrada en Big Data (Cloudera / Spark) y con parte en Google Cloud Platform.

Requisitos

  • Big Data (imprescindible) Más de 3 años diseñando y desarrollando procesos batch y real time con Apache Spark en el ecosistema Cloudera.
  • Alto nivel de Scala sobre Apache Spark; Java. Modelado en Apache HDFS/Hive, Apache Kudu y Apache Solr.
  • Conocimiento profundo de Apache Kafka, a nivel de arquitectura y de desarrollo.
  • Cloud (GCP) Experiencia desarrollando sobre Google Cloud Platform. BigQuery (modelado), dbt/SQL y Python. Pub/Sub, Dataflow, Cloud Functions y Cloud Storage.
  • Transversal CI/CD con Git/Bitbucket y Jenkins. Planificación de procesos con Control-M. Trabajo en equipos Scrum.
  • Autonomía, capacidad de decisión y buena comunicación con perfiles técnicos y de negocio.
  • Trabajo hibrido en madrid Alcobendas 2 o 3 Dias Remoto.

Ready to join the team?

Apply now