Мы строим платформу управления справочными / мастер данными и ищем сильного дата-инженера, который поможет её сформировать. Это роль про построение, а не про поддержку готового. Вы будете работать поверх существующих сервисов и постепенно превращать их в понятную прозрачную платформу, а ваши решения определят её фундаментальный дизайн.
Мы ищем инженера по аналитике в команду, которая разрабатывает эту платформу.
Задачи
- Отвечать за dbt-проект целиком, включая трансформации на всех слоях, переиспользуемые макросы и общие правила моделирования.
- Свести разрозненные и легаси-трансформации в единые стандартизированные пайплайны.
- Включить и расширить тесты dbt, внедрить проверки качества данных на слоях Silver и Gold.
- Спроектировать и реализовать механизмы определения golden record и разрешения конфликтов для справочных и мастер-данных.
- Построить и вести каноническую модель данных, семантический слой Gold и каталог данных.
- Задать и внедрить стандарты и правила трансформаций для всех, кто потребляет Gold, чтобы аналитики, операционная команда и владельцы доменов могли работать самостоятельно.
- Доставлять данные из Gold до конечных потребителей, включая интеграцию с фронтендом через внутренние системы.
Мы ожидаем
- От 4 до 6 лет опыта в роли Analytics Engineer или Data Engineer.
- dbt на экспертном уровне, включая моделирование, переиспользуемые макросы, тесты, структуру проекта и конвенции, с практическим опытом на разных источниках данных, например реляционных базах и S3.
- SQL как родной язык, включая оптимизацию запросов и со стороны самого запроса, и со стороны движка базы, то есть индексы, партиции и раскладка данных.
- Глубокий практический опыт с инструментами качества данных, например тесты dbt, great expectations или soda.
- Опыт проектирования канонических и семантических слоёв, размерное моделирование.
- Глубокое знание паттернов моделирования баз данных.
- Опыт работы с управлением справочными и мастер-данными и с логикой golden record.
- Умение переносить логику с Go, Python или любого другого языка в SQL.
Мы готовы предложить
