Инженер по тестированию (AI/LLM)

Мы ищем инженера по тестированию, который отвечает за качество продукта, участвует в проработке требований, тестировании и релизах, активно взаимодействует с командой разработки.

• функциональное, регрессионное и исследовательское тестирование веб- и мобильных приложений с AI/LLM;
• оценка качества ответов модели: релевантность, полнота, корректность;
• проверка поведения при некорректных запросах (prompt injection, jailbreak);
• тестирование стабильности и воспроизводимости ответов модели;
• валидация работы с контекстом: длинные диалоги, потеря контекста, галлюцинации;
• тестирование API-взаимодействия с LLM-провайдерами;
• составление тест-кейсов, чек-листов, ведение багов в трекере;
• взаимодействие с разработчиками, продуктом и ML-командой.

• опыт ручного тестирования веб-приложений от 2 лет;
• понимание принципов работы LLM (промпты, токены, температура, контекстное окно);
• опыт или сильный интерес к тестированию AI/ML-продуктов;
• умение оценивать качество нечётких, вероятностных ответов;
• знание техник тест-дизайна, видов и уровней тестирования;
• опыт тестирования REST API (Postman, Swagger);
• работа с баг-трекерами (Jira, YouTrack);
• умение работать с DevTools, читать логи;
• понимание клиент-серверной архитектуры.
  
  Будет плюсом:
• опыт тестирования мобильных приложений (iOS/Android);
• опыт оценки качества ответов LLM (разметка, ранжирование, A/B-тесты промптов);
• знакомство с prompt engineering;
• понимание метрик AI-моделей (precision, recall, BLEU, human evaluation);
• опыт тестирования RAG-систем;
• базовый SQL;
• навыки автоматизации (Selenium, Playwright) на уровне запуска тестов;
• Английский B1+ (чтение документации).

• оформление в аккредитованную IT-компанию;
• гибкое начало рабочего дня, гибридный график в Мск, либо удаленный формат работы;
• индивидуальный план развития для каждого сотрудника с возможностью освоения новых технологий;
• насыщенная корпоративная жизнь: онлайн- и офлайн-квизы, выездные корпоративы, спортивные мероприятия, творческие тимбилдинги, тематические вечеринки и многое другое;
• оплата участия в профильных онлайн-конференциях (HighLoad++, Podlodka, Mobius и др.);
• компенсация расходов на покупку профессиональной литературы;
• доступ к курсам нашей объединенной IT-школы GIGASCHOOL.