AQA-инженер по тестированию AI-агентов

Настрой карьеру под себя Объединяем право и технологии:
создаём ИТ-решения, которые освобождают юристов от рутины 15+ лет на рынке 4 000 клиентов 500+ сотрудников

Правотех создает продукты для юристов. Мы развиваем наш продукт — Право(Агент), который передаёт юридическую работу AI-агентам. Команда небольшая и быстрая: изменения в агентах выходят каждый день, и мы ищем инженера, который возьмёт качество агентов в свои руки.

Чем предстоит заниматься

• Следить за изменениями в агентах, скиллах, промптах и RAG и проверять затронутые сценарии до релиза.
• Составлять E2E-сценарии работы юриста в чате и запускать их через агентов-тестировщиков: тесты идут параллельно, отчёты собираются автоматически.
• Проверять ответы модели с помощью LLM-as-a-judge и калибровать оценки по разметке юристов.
• Тестировать RAG: качество поиска, точность ссылок, соответствие ответа источникам.
• Разбирать трейсы в Langfuse и телеметрию: где ошибся агент, сколько стоил и сколько длился каждый шаг.
• Готовить короткие отчёты: что сломалось, кто чинит, как сделать агента быстрее и дешевле.
• Писать автотесты API и UI, вести регрессию в CI, заводить баг-репорты.

Что для нас важно

• От 3 лет опыта в AQA или backend-разработке на Python.
• От года практики с LLM-агентами или LLM-приложениями: тестирование или разработка агентных систем.
• Опыт LLM-as-a-judge и оценки RAG.
• Langfuse или аналоги (LangSmith, Phoenix, OpenTelemetry): трейсы, датасеты, подсчёт токенов и стоимости.
• Python, pytest, автотесты API и UI (Playwright или аналог), Docker, CI.
• Понимание устройства агентов: вызовы инструментов, контекст, кэш промпта, reasoning-токены.
• Самостоятельность и скорость: вы сами замечаете изменение, тестируете его и приносите отчёт.

Будет плюсом

• Опыт backend-разработки на Python.
• Понимание архитектуры гибридного RAG.
• Pet-проекты с агентными системами.
• Профильное IT-образование.

Соблюдаем ТК РФ Официально оформляем, оплачиваем отпуска и больничные, материально помогаем при важных жизненных событиях Заботимся о здоровье Оформляем ДМС со стоматологией, телемедициной и медицинской помощью за рубежом Поддерживаем развитие Вместо карьерной лестницы строим гибкую ролевую модель: пробуйте новые роли, переходите между командами, развивайтесь в лидерстве Создаём возможности Выстаиваем ИПР, даём доступ к внутренним курсам, оплачиваем профильные обучения Даём поддержку Компенсируем питание, языковые курсы или спорт, консультации специалистов (психолог, юрист, финансист), предоставляем скидки от компаний-партнёров Объединяем команды Проводим онлайн- и офлайн-тимбилдинги, развиваем комьюнити по интересам, организуем спортивные челленджи Мы работаем в культуре Правократии, основанной на доверии, свободе и ответственности. У нас нет начальников, только лидеры: команды сами принимают решения, а каждый сотрудник — соавтор процессов и изменений в компании. Наша миссия Помогаем (людям) получать удовольствие от работы Бесконечная креативность Не боимся предлагать смелые идеи коллегам или CEO компании Непрерывное улучшение Каждый день мы улучшаем процессы, людей, отношения и продукты Гиперавтоматизация Перекладываем рутину на ИТ-системы, чтобы больше времени уделять интересным задачам Удобство Создаём для пользователей удобные продукты, которые сами применяем в работе Ответственность Каждый сотрудник знает, за какие проекты отвечает перед собой, коллегами и заказчиками