@agirussianews · Post #2130 · 20/08/2025, 13:39
🚀 20 августа 2025 Стартует RRNCB – Russian RAG Normative – Corporate Benchmark, первый российский открытый бенчмарк для оценки RAG-решений при работе с нормативной, правовой и технической документацией компаний. Почему это важно? ✅ На рынке десятки RAG-решений, но нет методики и инструмента оценки и сопоставления характеристик RAG сервисов, оценить их качество очень трудно. ✅RRNCB – это первый продуктовый бенчмарк, цель которого провести комплексную оценку Retrieval augmented generation продуктов для работы с корпоративной и технической документацией. ✅ Специально создан для оценки систем, работающих с русскоязычными нормативами, кодексами, ГОСТами и корпоративными документами. ✅ Открытость и прозрачность: методики оценки и данные будут в открытом доступе. Сравнение проходит по ключевым метрикам (ROUGE, LLM-судья, скорость, качество уточняющих вопросов). Участие. 📋Приглашаем ИИ компании к участию в бенчмарке RRNCB со своими RAG-решениями и продуктами. Заполните заявку на участие. В вашем распоряжении будут: • Независимый лидерборд. • Управление сабмитами. • Возможность тестировать сабмиты до отправки в лидерборд. • Разделение сабмитов на категории cloud и on-prem. 🗓Даты проведения: Запуск: 20 августа Регистрация RAG решений участников: до 3го сентября Результаты: 20 сентября. Почему стоит участвовать. • Участие в открытом бенчмарке — это стратегическая инвестиция для владельца продукта. Вы перестаете просто говорить, что ваш продукт «лучший». Вы доказываете это на объективных метриках в сложных, приближенных к реальности условиях. Это самый мощный аргумент для сомневающихся клиентов, который резко повышает доверие. • Попадание в топ лидерборда — это готовый повод для PR. • Реальные запросы и строгая оценка бенчмарка действуют как мощный стресс-тест. Выявляются проблемы, которые можно было не заметить на внутренних тестах. • Результаты бенчмарка — это не просто цифры, а конкретные данные для вашей R&D-команды. • Экономия ресурсов на собственном тестировании. Бенчмарк предоставляет инфраструктуру и датасеты готовыми, вместе с продуманной методологией оценки. Подробнее о бенчмарке:https://fractalagents.ai/rrncb-rag-benchmark/ Инициатор проведения бенчмарка - ООО Аватар Машина. #RAG#AI#RRNCB#Benchmark#ИскусственныйИнтеллект#OpenSource