Глобальный разработчик продуктов и решений на основе
разговорного искусственного интеллекта, машинного обучения
и компьютерного зрения
Технологический эксперт в области речевых технологий,
генеративного искусственного интеллекта, лицевой и голосовой
биометрии. В России решения ЦРТ работают в крупнейших
банках, телеком-компаниях, ТЭК, госсекторе, АПК «Безопасный
город». Технологии распознавания речи, голосовой биометрии
и выявления дипфейков, разработанные в ЦРТ, занимают
лидирующие позиции на российском рынке*.
-
лет на рынке технологий ИИ
-
сотрудников в штате компании
-
офиса: в Москве и Санкт-Петербурге
-
проектов по всему миру, в т.ч. проекты национального
масштаба
Мы разрабатываем агентную систему и инструменты для объективной оценки её качества.
Ищем middle-инженера на стыке ML и Python, который понимает принципы работы агентных систем и имеет инженерную базу для их развития.
Обязанности:
- Проектировать evals для LLM-агентов, tool calling, поиска и итоговых ответов.
- Определять единицу оценки: ответ, вызов инструмента, trace/trajectory или итоговый артефакт.
- Создавать и поддерживать тестовые датасеты, разметку и ground truth.
- Разрабатывать детерминированные метрики и LLM-as-a-Judge evaluators.
- Калибровать автоматические оценки на человеческой разметке.
- Запускать и анализировать эксперименты, находить регрессии и недостатки покрытия.
- Работать с traces и наблюдаемостью в Langfuse.
- Совместно с командой определять quality gates для изменений агентов, моделей и промптов.
- Развивать агентов и агентную платформу: инструменты, навыки, интеграции.
- Развивать программную инфраструктуру на Python и интегрировать её с рабочей агентной системой, работать с существующими API и внешними сервисами.
- Разбираться в полном пути запроса через несколько сервисов и диагностировать проблемы по логам и traces.
- Проектировать явные контракты данных и устойчивую обработку ошибок.
- Писать unit- и интеграционные тесты, участвовать в code review.
- Работать с CI/CD и контейнеризированным окружением.
- Использовать coding agents для реализации задач и отвечать за качество итогового решения.
Требования:
- Production-Python: типизированный код, явные модели данных (dataclasses, Pydantic), понятная декомпозиция модулей.
- Практический опыт unit- и интеграционного тестирования, включая проверку ошибок и граничных случаев.
- Понимание `async`/`await`, HTTP API и корректной обработки сетевых ошибок.
- Опыт работы в сервисной или event-driven архитектуре.
- Умение ориентироваться в незнакомой кодовой базе и находить причину проблемы по коду, логам и трассам.
- Git и командная разработка через code review.
- Понимание принципов работы LLM и агентов, использующих инструменты.
- Умение превратить продуктовое требование в проверяемую гипотезу и дизайн эксперимента.
- Практика классификационных метрик и базовой статистики: precision/recall, срезы, уверенность в выводе.
- Понимание различий между детерминированными проверками и LLM-as-a-Judge.
- Умение задавать уточняющие вопросы, фиксировать критерии приёмки и объяснять результат разработчикам и владельцам продукта.
Будет преимуществом:
- Опыт с Langfuse, Phoenix, LangSmith, Opik или другой платформой наблюдаемости и оценки LLM-систем.
- Опыт с RAG, поисковыми системами или агентными фреймворками.
- Опыт работы с FastAPI, Pydantic и асинхронным Python.
- Знание Docker, CI/CD, S3-совместимых хранилищ, NATS или других event-driven систем.
- Опыт разработки eval- или regression-pipelines.
- Опыт эксплуатации распределённых сервисов.
- Опыт разработки агентных инструментов и навыков, доработки вычислительного окружения (harness) агентов.
- Опыт организации человеческой разметки и анализа согласованности экспертов.
- Опыт использования coding agents: постановка задач, проверка результата и доработка сгенерированного кода.
Условия:
- Работа на переднем крае технологий совместно с научной командой;
- Возможность влиять на архитектуру и развитие системы;
- Оформление по ТК, "белая" заработная плата;
- ДМС с 1 недели работы;
- Работу в аккредитованной IT-компании с полагающимися льготами;
- Благотворительные и эко-активности;
- Компенсацию обучения;
- Все необходимое для работы, комфортный офис и корпоративную технику.
Аккредитованная ИТ‑компания
Сильная команда профессионалов, амбициозные задачи
и масштабные проекты
ДМС с первого дня и льготное страхование
для близких
Корпоративное обучение и конференции за счет компании,
доступ к образовательной платформе
Бесплатная подписка Прайм+
Программа наставничества для профессиональной адаптации
новых сотрудников
Спортивные занятия и активности в кругу
единомышленников
Бесплатное посещение Ленинградского зоопарка
*CNews Analytics, ComNews Awards, Хрустальная гарнитура, Коммерсантъ
и пр. за 2024–2026 гг.
