Post #9170

⚡️Новая методика оценки эффективности моделей перевода от Яндекса — RATE представлена на EMNLP 2025: система показывает, где модели теряют естественность речи На международной конференции компания показалаRATE (Refined Assessment for Translation Evaluation) — инструмент, который анализирует качество перевода с учётом естественности речи. Одна из ключевых задач системы — выявлять ситуации, когда модель формально передаёт смысл, но выбирает неверный тон или стиль. В отличие от существующих методик, RATE фиксирует широкий спектр отклонений: от стилистических несоответствий до ошибок в передаче регистров речи. На тестировании RATE обнаружила в 7 раз больше ошибок, чем MQM (Multidimensional Quality Metrics) и ESA (Error Span Annotation), что подчёркивает ограниченность прежних подходов. Инструмент уже применяется в процессах развития моделей перевода Яндекса. Такой метод оценки позволяет точнее сопоставлять решения нейросетей с реальными пользовательскими сценариями — от деловых коммуникаций до бытовых диалогов. @ai_machinelearning_big_data #news#ai#ml