Инженер по машинному обучению, вывод и обслуживание (речевые большие языковые модели) – Сан-Франциско

О компании Plaud Inc.

Plaud создает интерфейс искусственного интеллекта для профессионалов в реальном мире, чтобы усилить интеллект, повысить продуктивность и эффективность, который полюбили более 2 500 000 пользователей по всему миру с 2023 года. Миссия Plaud — усилить человеческий интеллект, захватывая, структурируя и накапливая интеллект, генерируемый в разговорах — чтобы люди могли лучше думать, быстрее принимать решения и выполнять задачи с ясностью.

Plaud Inc. — компания, зарегистрированная в Делавэре и базирующаяся в Сан-Франциско, которая расширяет границы взаимодействия человека и ИИ через сочетание аппаратного и программного обеспечения. Обладая полным соответствием стандартам ISO 27001, ISO 27701, SOC 2, GDPR, EN18031 и HIPAA, Plaud привержена самым высоким стандартам безопасности данных и защиты конфиденциальности.

Чтобы узнать больше о Plaud, посетите https://www.Plaud.ai и следите за нами в Instagram, X, Facebook, LinkedIn, и YouTube

Почему стоит присоединиться к нам

Plaud создает инфраструктуру и интерфейсы следующего поколения для захвата, извлечения и использования интеллекта из того, что люди говорят, слышат, видят и думают.

• Plaud — это самостоятельная, стремительно растущая и прибыльная компания с доходом в $300 млн в год, достигнутым всего за три года.

• Определяйте парадигму следующего поколения для взаимодействия человека и ИИ.

• Получите опыт работы с передовыми инструментами ИИ для профессионалов и сыграйте прямую роль в нашем глобальном расширении.

• Работайте с увлеченными коллегами, которые ценят инновации, сотрудничество и успех клиентов.

• Развивайте свою карьеру в культуре, которая поддерживает непрерывное обучение и быстрое профессиональное развитие.

• Конкурентоспособная оплата труда, глобальный опыт и живой, творческий рабочий климат.

Вы можете подойти нам, если вы:

• Имеете практический опыт создания и развертывания высокопроизводительных, с ультранизкой задержкой движков вывода для больших языковых моделей или базовых моделей речи.

• Понимаете сложные компромиссы между задержкой, пропускной способностью и временем до первого токена (или времени до первого аудио) в условиях потоковой передачи в реальном времени.

• Обладаете практическим опытом с непрерывной пакетной обработкой, управлением кешем KV (например, PagedAttention) и состоянием соединений, необходимым для разговорного ИИ в реальном времени.

• Глубоко понимаете архитектуру GPU (NVIDIA Ampere/Hopper) и иерархию памяти, что позволяет выявлять и устранять аппаратные узкие места.

• Четко коммуницируете и эффективно сотрудничаете, так как вы будете находиться на критическом пересечении между основной командой обучения ML и командой бэкенд-инфраструктуры.

• Процветаете в быстро меняющейся среде и искренне наслаждаетесь системной инженерной задачей выжать максимум производительности из кластера GPU.

• Обожаете создавать ИИ-системы, которые изначально понимают и генерируют речь, в конечном итоге создавая аппаратно-программного ИИ-компаньона, который усиливает человеческую продуктивность.

Сильные кандидаты также могут иметь опыт в:

• Передовые фреймворки обслуживания: глубокое, техническое знакомство с современными фреймворками обслуживания LLM, такими как vLLM, TensorRT-LLM, SGLang или NVIDIA Triton Inference Server (будет плюсом активный вклад в эти репозитории с открытым исходным кодом).

• Потоковая передача аудио в реальном времени: опыт работы с непрерывными аудиопотоками через WebSockets или WebRTC, развертывание нейронных аудиокодеков и управление генерацией аудио по частям для минимизации задержки в разговоре.

• Продвинутые методы вывода: реализация передовых алгоритмов генерации, таких как спекулятивное декодирование, декодирование с предсказанием или генерация по частям.

• Сжатие и квантизация моделей: практический опыт посттренировочной квантизации (PTQ), развертывания моделей в FP8, INT8, AWQ или GPTQ без ухудшения естественности аудио или точности ASR.

• Крупномасштабные распределённые системы: развертывание много-GPU (тензорный параллелизм) и многоузловых конвейеров вывода, а также управление инфраструктурой с автмасштабированием с помощью Kubernetes.

Что мы предлагаем

• Инициатива основателей: возможность стать ранним, ключевым членом нашей основной лаборатории SpeechLLM с значительной долей участия и влияния в быстрорастущем стартапе.

• Конкурентная компенсация: базовая зарплата от $195K до $365K + бонусы за результаты + акции.

• Всеобъемлющие льготы: первоклассное медицинское обслуживание для сотрудников и их иждивенцев, включая стоматологию и офтальмологию, а также щедрая субсидия от работодателя.

• Пенсионное планирование: план 401(k) для штатных сотрудников с участием компании в софинансировании.

• Оплачиваемый отпуск: неограниченный PTO, плюс 13 оплачиваемых праздничных дней.

• Отпуск для новых родителей: 12 недель оплачиваемого отпуска для проведения времени с вашей новой семьей, независимо от пола.

• Гибридный офис: минимум 3 дня в офисе в неделю для поддержки высокоэффективных, быстро развивающихся исследований.

• Оборудование и привилегии: выбор лучших ноутбуков/рабочих станций, ежегодные выездные мероприятия и полностью оснащенный офис.

Plaud является и будет оставаться работодателем, предоставляющим равные возможности. Мы не допускаем дискриминации по признаку расы, религии, цвета кожи, национального происхождения, пола, сексуальной ориентации, возраста, статуса ветерана, инвалидности, генетической информации или других юридически защищенных характеристик.