Главная > Вакансии > г. Москва 
Вакансия
Product Analyst (GigaChat)
Регион: Город Москва
Источник: Вакансия интернет ресурса
Информация о вакансии
Наименование вакансии: Product Analyst (GigaChat)
Дата размещения: 2025-10-09
Заработная плата: от 0 руб.
Тип занятости: Полная занятость
График работы: Полный рабочий день
Должностные обязанности: Мы - команда ML-инженеров GigaChat Data. Наша команда готовит данные для обучения всей линейки моделей LLM GigaChat (Text, Vision, Audio, Embeddings и др.). Мы собираем данные как для базовых моделей, так и для их адаптации под конкретные сценарии. Сейчас мы ищем продуктового аналитика, который будет помогать нам с околорелизными процессами: системно оценивать модели, собирать тестовые наборы данных и отслеживать качество ответов на ключевых сценариях использования. Обязанности анализировать требования к качеству моделей и формализовывать их в тестовые сценарии и чек-листы собирать и поддерживать тестовые сеты участвовать в релизном процессе: проводить приёмку модели, оценивать качество ответов, считать автоматические метрики, организовывать и анализировать ручную разметку использовать современные подходы к оценке качества LLM: SBS (side-by-side evaluation) - сравнение моделей между собой LLM-as-a-judge - автоматическая оценка ответа с помощью другой модели специализированные сайты, бенчмарки (ChatBot Arena, MT-Bench и др.) взаимодействовать с командой разработчиков: выявлять потенциальные проблемы, предлагать улучшения отслеживать баг-репорты, классифицировать их и формировать задачи проводить анализ пользовательских логов, выявлять системные ошибки и регистрировать инциденты развивать автоматизацию проверки качества и интегрировать её в пайплайн релизов. Требования уверенное владение Python и опыт работы с библиотеками для анализа данных (pandas, NumPy и др.) знание и практическое применение публичных бенчмарков (MMLU, GSM8K, MATH, HumanEval и тд) практический опыт работы с современными LLM: Llama, Mistral, Qwen, GPT (OpenAI), Gemini (Google), Claude (Anthropic) или аналогичными навыки работы с данными: очистка, нормализация, подготовка датасетов внимательность к деталям, умение находить нестандартные ошибки в сложных сценариях способность документировать процессы в понятной форме навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом. Условия удаленный/гибридный/офисный формат в Москве, Санкт-Петербурге и Нижнем Новгороде ежегодный пересмотр зарплаты и годовая премия расширенный ДМС и льготное страхование для семьи уникальная система обучения Сбера для профессионального и карьерного развития гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ бесплатная подписка СберПрайм+, скидки на продукты компании-партнёров вознаграждение за рекомендацию друзей в команду Сбера корпоративная пенсионная программа.
Требования к кандидату
Образование: Не указано
Адрес
г Москва
Контактная информация
Контактное лицо: Команда рекрутмента Сбера
Телефон: +7(495) 123 04 40
Информация о работодателе
Компания: СБЕР
Дополнительно: Информация о вакансии на сайте Роструда > Смотреть
Поиск
Поиск по ИНН
Проверка контрагента
Конвертеры
Изменения классификаторов
Классификаторы общероссийские
Классификаторы международные
Справочники