О компании и роли
Привет! Меня зовут Виктор, я отвечаю за развитие новых направлений в компании.
Мы делаем платформу ценовой аналитики для мирового винного рынка. Система находит винные магазины по всему миру, обходит их сайты, определяет, какое вино там продаётся и по какой цене, и собирает всё в единый каталог. В базе десятки тысяч сайтов и миллионы записей, данные разбирают парсеры и ML-модели.
Ищем человека, который возьмёт на себя качество данных в базе: будет находить ошибки и пробелы, разбираться, откуда они берутся, и добиваться, чтобы их исправили.
Что предстоит делать
- Проверять данные по всей цепочке: сайт магазина, товарные ссылки, упоминания вина, карточка в каталоге, цена. На каждом шаге искать, где теряется полнота и где появляются ошибки
- Сверять полноту с внешними источниками: другими агрегаторами, поисковой выдачей, сайтами производителей
- Доводить каждую находку до причины: сколько таких записей, какое правило, алгоритм или загрузка их дали, что поменять. Дальше задачи разработке и правки в постановках
- Писать автоматические проверки, которые регулярно гоняются по продакшен-базе, и следить за метриками качества
- Проверять результаты массовых загрузок и ручной разметки
- Описывать каждую проверку в Confluence: что проверяли, на какой выборке, что нашли и что решили
Примеры того, что нужно ловить
- Одно и то же вино попало в каталог несколькими карточками, а под одной карточкой оказались два разных вина
- Страну сайта определили по телефону без международного кода, и часть французских магазинов стала американскими
- Магазин показывает одно вино на двух языковых версиях сайта, мы парсим обе, и в базе дубли
- История цен по магазину обрывается, а временная недоступность товара на недели гасит цену
Как устроена работа
Готовых тест-кейсов под базу нет, их предстоит придумать. Часть методики проверок уже описана в Confluence. Её нужно подхватить и превратить в систему: регулярные проверки, метрики, понятные отчёты.
Данные лежат в PostgreSQL и ClickHouse, доступ через SQL и Metabase. Задачи ведём в Jira, документацию в Confluence.
ИИ-инструментами пользуемся всей командой: запросы, скрипты и тесты пишем вместе с Claude. Ждём, что вы тоже так работаете и понимаете, где модели можно доверять, а где нет.
Что мы ждём от вас
- От 2 лет в проверке качества данных: тестирование данных или DWH, data quality, аналитика данных
- Понимание, что спросить у базы, чтобы проверить гипотезу, и способность заметить, что запрос считает не то
- Python для проверок: pandas, скрипты, которые запускаются по расписанию
- Опыт с живыми данными на продакшене, с реальными объёмами и реальным мусором
- Умение докопаться до причины ошибки и предложить, что поменять
- Умение коротко и ясно описать проверку: гипотеза, выборка, результат, вывод
- Самостоятельность: задачи приходят в свободной форме, что и как проверять, решаете вы
Будет сильным плюсом
- Great Expectations, dbt tests, Soda или свой фреймворк проверок данных
- Данные e-commerce: каталоги, сопоставление одинаковых товаров у разных продавцов, парсинг, мониторинг цен
- ClickHouse, Metabase
- Английский и хотя бы один из языков (французский, итальянский, немецкий) на уровне чтения сайтов
- Интерес к вину: с ним проще понять, почему два похожих вина на самом деле разные
Мы предлагаем
- Полностью удалённая работа
- Аккредитованная IT-компания
- Своя зона ответственности: проверки и метрики качества данных за вами
- Международный продукт и живые данные из десятков стран
- Небольшая команда без бюрократии
Заинтересовала вакансия?
Пришлите резюме и, если есть, пример своей проверки или отчёта о качестве данных (без чужих секретов).
