О компании Nebius:
Nebius возглавляет новую эру облачной инфраструктуры для глобальной экономики ИИ. Мы создаём полнофункциональную облачную платформу ИИ, которая поддерживает разработчиков и предприятия от обработки данных и обучения моделей до развертывания в производстве, без затрат и сложности создания крупной внутренней инфраструктуры ИИ/МО.
Создано инженерами для инженеров. От масштабной оркестрации GPU до оптимизации вывода, мы решаем сложные задачи в области вычислений, хранения, сетей и прикладного ИИ.
Компания котируется на Nasdaq (NBIS) и имеет штаб-квартиру в Амстердаме, с глобальным присутствием и исследовательскими центрами в Европе, Великобритании, Северной Америке и Израиле. Наша команда из более чем 1500 человек включает сотни инженеров с глубокими знаниями в области аппаратного обеспечения, программного обеспечения и исследований ИИ.
Роль
В качестве старшего инженера машинного обучения в команде Applied AI в Nebius Token Factory вы будете отвечать за оптимизацию моделей и конечных точек от артефактов моделей до развертывания в производстве. Ваша работа охватит внутренние аспекты моделей, квантизацию и сжатие моделей, спекулятивное декодирование, оптимизацию KV-кэша, движки вывода, архитектуру обслуживания и бенчмаркинг для улучшения задержки, пропускной способности, эффективности памяти, использования GPU и стоимости за токен при сохранении качества и надежности.
Вы будете работать с инженерами ядра и платформы для исследования проблем обслуживания, сравнения конфигураций и устранения регрессий в производительности и качестве. Вы оцените оптимизации на уровне моделей и движков вместе с распределёнными решениями вывода, включая маршрутизацию запросов, планирование, координацию предварительной загрузки/декодирования и выполнение на нескольких GPU-узлах. Ваши улучшения будут проверены с помощью воспроизводимых бенчмарков и безопасных развертываний в производстве под реальными нагрузками.
Ваши обязанности
- Отвечать за проекты оптимизации для конкретных семейств моделей, клиентских конечных точек или бэкендов обслуживания.
- Сравнивать движки вывода и рекомендовать конфигурации обслуживания, подходящие для отдельных нагрузок.
- Диагностировать регрессии качества моделей и производительности во время развертываний в производстве.
- Улучшать задержку, пропускную способность, эффективность памяти, использование GPU, качество и стоимость за токен для конечных точек LLM и VLM.
- Развёртывать, настраивать, проводить бенчмарки и расширять движки, такие как vLLM, SGLang, TensorRT-LLM, Triton Inference Server и NVIDIA Dynamo.
- Разрабатывать производственные рабочие процессы сжатия моделей, охватывающие квантизацию, обучение с учётом квантизации, дистилляцию, обслуживание с низкой битностью и восстановление точности.
- Реализовывать или интегрировать спекулятивное декодирование, подходы с черновыми моделями, оптимизацию KV-кэша, кэширование префиксов, разбиение предварительной загрузки, непрерывное пакетирование и разъединённое обслуживание предварительной загрузки/декодирования. Для разъединения предварительной загрузки и декодирования (PDD) оценивать передачу KV-кэша, размещение рабочих узлов и балансировку нагрузки для определения, какие нагрузки выигрывают от такой архитектуры.
- Проектировать и улучшать маршрутизаторы запросов LLM и политики планирования, которые балансируют использование рабочих узлов, очереди, характеристики запросов и локальность KV-кэша при соблюдении целей по задержке и надежности.
- Масштабировать вывод плотных моделей и моделей с экспертным смешением на нескольких GPU-узлах. Выбирать и настраивать тензорный, конвейерный, данные и экспертный параллелизм — включая широкий экспертный параллелизм (WideEP) — с учётом топологии оборудования, баланса нагрузки экспертов и накладных расходов на коммуникацию.
- Создавать воспроизводимые бенчмарки, измеряющие TTFT, TPOT, количество токенов в секунду на GPU, задержки p95/p99, использование памяти GPU, надежность и стоимость за токен. Проверять архитектурные решения под представительными нагрузками и с постоянным бюджетом GPU.
- Сотрудничать с инженерами ядра GPU и платформы для выявления узких мест в коде моделей, ядрах, среде выполнения, планировщике, шлюзе и слоях кластера.
- Готовить проектные документы, отчёты о производительности, планы развертывания и технические объяснения для клиентов.
Обязательные требования
- Сильные инженерные навыки в Python и PyTorch.
- Практический опыт развертывания или оптимизации вывода LLM, VLM или высокопроизводительного трансформера.
- Практические знания хотя бы одного современного стека вывода, такого как vLLM, SGLang, TensorRT-LLM, Triton Inference Server, NVIDIA Dynamo, Ray Serve, KServe или эквивалентной внутренней системы.
- Глубокое понимание узких мест вывода трансформеров, связанных с KV-кэшем, вниманием, пропускной способностью памяти, пакетированием, параллелизмом и обслуживанием длинных контекстов.
- Умение количественно оценивать компромиссы между задержкой, пропускной способностью, качеством, использованием ресурсов и стоимостью.
- Опыт проектирования или оптимизации архитектуры распределённых систем вывода с практической работой в одной или нескольких областях, таких как маршрутизация запросов, распределённое планирование, PDD, многоузловой вывод или экспертный параллелизм.
- Сильные навыки коммуникации и сотрудничества с командами исследований, ядра, инфраструктуры, продукта и клиентов.
Желательные навыки
- Опыт обучения с учётом квантизации, постобучения квантизации, FP8, INT8, INT4, NVFP4, MXFP4, AWQ, GPTQ или SmoothQuant.
- Опыт дистилляции, спекулятивного декодирования, EAGLE, Medusa, предсказания нескольких токенов или связанных методов ускорения вывода.
- Опыт поддержки агентных нагрузок, включающих вызов инструментов, структурированные выходы, потоковые API, высокую конкуренцию и многошаговую оркестрацию.
- Знакомство с CUDA или Triton; роль не требует, чтобы инженерное ядро было основной специализацией кандидата.
- Вклад в проекты с открытым исходным кодом, такие как vLLM, SGLang, TensorRT-LLM, FlashInfer, LMCache, PyTorch, Triton, Ray или KServe.
- Опыт реализации маршрутизации запросов с учётом кэша, PDD или WideEP, включая диагностику узких мест коммуникации и дисбаланса нагрузки.
- Знакомство с библиотеками и интерфейсами коммуникации GPU, такими как NCCL, NVLink, InfiniBand или RoCE.
Преимущества и бонусы:
- Конкурентоспособная компенсация
- Возможности карьерного роста и обучения
- Гибкость и ответственность
- Культура сотрудничества и инноваций
- Возможность работать над значимыми проектами в области ИИ
- Международная среда и талантливые команды
Каково работать в Nebius:
Быстрое развитие - Смелые идеи - Постоянный рост - Значимое влияние - Доверие и реальная ответственность - Возможность формировать будущее ИИ
Заявление о равных возможностях:
Nebius является работодателем, предоставляющим равные возможности. Мы стремимся создавать инклюзивное и разнообразное рабочее место и обеспечивать равные возможности трудоустройства во всех аспектах занятости. Мы не допускаем дискриминации по признаку расы, цвета кожи, религии, пола (включая беременность), национального происхождения, происхождения, возраста, инвалидности, генетической информации, семейного положения, статуса ветерана, сексуальной ориентации, гендерной идентичности или выражения, или любой другой характеристики, защищённой применимым законодательством.
Кандидаты должны иметь разрешение на работу в стране, в которой они подают заявку, и будут обязаны предоставить подтверждение права на трудоустройство как условие найма.
Если вам необходимы условия для прохождения процесса подачи заявки, пожалуйста, сообщите нам.
