Post #355

В последнее время много разговоров на тему LLMs evaluation. Попробовал собрать свои и чужие (Карпатый, Ын, …) мысли в кучу. 👍#longread Уже всем понятно, что оценка качества LLM очень важна для понимания их возможностей и лимитов, но это сложная и трудоемкая задача. Хорошие evals необходимы, чтобы наши качественные впечатления соответствовали количественным очкам и бенчмаркам. С бенчмарками дела не очень хороши. Наверняка вы подозревали или читали, что утечка тестовых сетов в тренировочные встречается всё чаще и представляет большую проблему. Это приводит к тому, что модели запоминают ответы, а не показывают реальную производительность. Утекший однажды бенчмарк, по идее, уже доступен всем LLMкам, а значит становится бесполезным. При этом авторы моделей могут по наивности или невнимательности не знать, что их напарсеный с инета датасет уже содержит несколько бенчмарков. Хоть и можно фильтровать точные и приблизительные совпадения, трудно предотвратить загрязнение синтетическими переписками или связанными обсуждениями. А с мультимодальными моделями это станет совсем мрачно, ведь данные могут быть представлены в различных форматах. А что насчет таких задач, как суммаризация текста? Их сложно автоматически оценить. И, кажется, тут без участия человека не обойтись. Но как контролировать такие переменные, как внимание к деталям, длина ответа и стиль? Окей, допустим нам очень хочется исключить человека - будем использовать одни LLM для оценки других. Такие автоматизированные оценки с крутыми моделями, хоть и полезны, но могут быть шумными и ненадежными. А как насчет стоимости? Проведение evals может быстро стать дорогим удовольствием. Скажем, если LLM стоит $10 за миллион входных токенов, а типичный запрос содержит 1000 токенов, один запрос обойдется в $0.01. Но если вы улучшаете алгоритм на основе 1000 тестовых примеров и в день оцениваете 20 идей, то затраты составят $200 в день. А ведь время, потраченное на ожидание завершения eval, тоже стоит денег и замедляет эксперименты. Сами подумайте, сколько это может съесть бюджета и времени. Но несмотря на все это, улучшение методов оценки критически важно для прогресса. Есть уже всем известная (я надеюсь) ChatBot Arena. Отличная идея со слепой оценкой моделей большим количеством людей. Мы задаем вопрос и выбираем между двумя ответами от анонимных моделей. Чем больше людей так проголосует, тем лучше. Но и тут есть свои проблемы. Во-первых, люди задают вопросы ограничиваясь своей фантазией. Кто-то попросит придумать стих на 8 марта, а кто-то спросит как объясняется феномен нарушения неравенств Белла в контексте квантовой запутанности? Во-вторых, есть вопрос к тому, что мы таким образом оцениваем: качество модели, и соответствие ответов модели нашим преференциям (стилистически, объемно и т.д.)? К тому же, взаимодействия, разрешенные в арене, могут не охватывать весь спектр возможностей моделей. Предпочтения людей в этих ограниченных сценариях могут не отражать общую полезность или качество моделей в более широких приложениях. Недавно добавленные категории (кодинг, разные языки, математика) немного спасают, но хочется чего-то еще. Недавно компания Scale.com запустила SEAL Leaderboards, которые оценивают LLM с использованием частных (!) наборов данных, исключающих возможность манипуляций (если им верить). То есть по сути это свои закрытые данные и оцениваются они прям людьми прям руками. Изначально охвачены такие темы: • Программирование • Следование инструкциям • Математика (на основе GSM1k) • Многоязычность Я думаю такие подходы, пока что, самые качественные. Но тут хочется спросить: “А судьи кто?” Если это ноунеймы, то это одно, а если признанные эксперты в своих областях - совсем другое.