Post #736

Меняем правила игры в AI: обходим классические бенчмарки и ищем лучшие модели Недавно работая над проектом чат-бота, моя команда студентов начала с классических бенчмарков - GLUE, SQuAD и прочих. На стандартных тестах всё выглядело круто, но в реальных условиях всё было не так радужно. Пришлось менять подход. Вместо того чтобы гнаться за лидербордами, ребята начали комбинировать разные метрики. И тут их ждал сюрприз! Модели вроде DistilBERT и ALBERT реально выстрелили, особенно в понимании контекста и генерации ответов. Вдохновленные этим, мы решили узнать, как другие ребята в AI выбирают свои модели. Запустили опрос среди ML-инженеров, дата-сайентистов, продактов и MLOps. Оказалось, что многие используют кастомные метрики, такие как F1-score и BLEU, что дало нам кучу идей для улучшения. Так что, ребята, не бойтесь отходить от стандартов и учиться у сообщества. Это может привести к классным решениям! ➡️ Если есть желание внести вклад, то пройдите опрос и поделитесь своим опытом (7 минут): 👉https://forms.gle/dDWeWaWbxhk6qsNL7 Репост = карма👼