Инженер инференса

• Осуществлять эксплуатацию и поддержку сред инференса, развёрнутых для внутренних нужд компании;
• Осуществлять курирование закупки и сборки, и развёртывания ПО и оборудования для сред инференса больших языковых моделей;
• Быть техническим экспертом по вопросам сайзинга и наполнения решений по инференсу в рабочих группах создания программно-аппаратных комплексов для ген.ИИ (как компании, так и партнёров);
• Обучать партнёров и собственную presales-команду принципам создания, поддержки и эксплуатации сред инференса, как consumer grade (для PoC в небольших проектах), так и enterprise-grade;
• Рекомендовать и способствовать внедрению лучших инженерных практик в процессы своей зоны ответственности.

Мы ждём, что вы:

• Имеете техническое образование: математика, физика, биотехнологии, ИТ;
• Имеете хороший английский для чтения сложной и неполной технической документации, заведения PR, коммуникации в сообществах OSS-продуктов;
• Имеете знания в области LLM:
1. Понимание принципов работы больших языковых моделей. Токенизация, эмбеддинги, внимание, KV-cache, MoE и т.п.
2. Регулярное использование LLM для личных нужд, понимание ограничений и границ доверия.

• Имеете знания из области инференса:
1. Опыт от полугода в настройке инференса больших языковых моделей в vLLM, SGLang
2. Понимание общих принципов structured outputs, JSON-schema, Pydantic-schema;
3. Опыт работы с Python: служебные скрипты, health-checks, pre-/post-processing обвязки.

• Имеете инженерные знания:
1. Опыт работы в роли DevOps, администратора системного или базового ПО от 1 года;
2. Знание Docker, написание Dockerfile, сборка образов, работа с docker-compose.
3. Понимание принципов организации CI/CD pipelines; умение пояснить как нужно организовывать, а как не нужно.
4. Настройка Linux-серверов с нуля.
5. Понимание принципов подбора компонент для рабочих станций и серверов с несколькими GPU (бутылочные горлышки, варианты оптимизации стоимости и сопутствующие минусы).