Post #8416

🌟Google Labs запустила инструмент для структурированной оценки языковых моделей. Stax - экспериментальный инструмент для разработчиков, который предлагает замену неформальному «вайб-тестингу» больших языковых моделей на структурированный, основанный на данных подход. Stax оценивает модели на кастомных или готовых автоматизированных оценщиках, фокусируясь на метриках: беглость ответа, безопасность, задержка и процент успешного прохождения ручной проверки. Есть дашборд для сравнения результатов разных моделей с визуальными индикаторами производительности. Ключевые возможности: быстрые и повторяемые оценки, настройка метрик под конкретные продукты и сквозной рабочий процесс для экспериментов от прототипа до продакшена. Инструмент должен помочь разработчикам принимать обоснованные решения при выборе и развертывании моделей. @ai_machinelearning_big_data #news#ai#ml