Data engineer middle+/senior

Немного о нас: ggsel – маркетплейс цифровых товаров, с 2017 года мы в топе площадок СНГ. Более 6 миллионов пользователей ежемесячно выбирают нас за лучшие цены и качественную поддержку, а за последний год мы выросли в 4 раза. И наша цель – не просто удержать позиции, а перевернуть рынок цифровой торговли: сделать его честным, удобным, быстрым и выйти в лидеры цифровой коммерции, в том числе на международном рынке.

Сейчас продукт находится на этапе серьезной трансформации, и мы собираем сильную инженерную команду. У нас уже работают ребята из Додо, Яндекс.Маркета, Самоката и Авито. Мы ищем Дата-инженера для аудита, доработки и поддержки текущих решений.

Стек: ClickHouse, SQL, Python, Airflow, dbt, PostgreSQL, Docker, Git.

Основные задачи:

• Разработка и поддержка пайплайнов
• Проектирование ETL/ELT-процессов для переноса данных из PostgreSQL и других источников в ClickHouse.
• Написание надёжных и идемпотентных DAG в Airflow для регулярного обновления витрин данных.
• Построение слоёв данных с использованием dbt.
• Обеспечение качества данных: тесты, проверка свежести, мониторинг аномалий.
• Оптимизация хранилища и производительности
• Тюнинг ClickHouse: настройка схем таблиц под конкретные бизнес-запросы, устранение узких мест.
• Оптимизация SQL-запросов для снижения нагрузки на БД.
• Управление ресурсами кластера ClickHouse: CPU, RAM, Disk I/O.
• Контроль стоимости хранения.
• Администрирование и надёжность
• Обеспечение отказоустойчивости: настройка репликации и бэкапов.
• Мониторинг состояния пайплайнов и баз данных.
• Оперативное реагирование на инциденты.

Требования:

• Глубокое знание ClickHouse
• Проектирование схем: Знание семейства движков MergeTree, выбор ключей партиционирования и сортировки для оптимального сжатия и скорости чтения.
• Оптимизация запросов: Умение читать планы запросов, оптимизировать потребление памяти, настраивать материализованные представления (Materialized Views) и проекции.
• Администрирование: Настройка шардирования и репликации, управление TTL, мониторинг слияний.
• Инструменты ETL/ELT и Оркестрация
• Оркестрация: Управление сбором данных через Apache Airflow.
• Трансформация: Опыт работы с dbt для построения слоев данных.
• Языки и Инфраструктура
• Python: Разработка ETL-скриптов, работа с Pandas, интеграция с API.
• SQL: Владение на уровне эксперта (аналитические запросы, оптимизация).
• Инфраструктура: Docker (для развертывания ClickHouse), Git.

Условия:

• Удаленная работа из любой точки мира.
• Конкурентная зарплата + performance премия 2 раза в год.
• Гибкий график и фокус на результат.
• Оплата обучения, курсов и конференций.
• Возможность реально влиять на продукт и команду.