Намери подобно съдържание

Изходен канал @clockstackwheels · Post #340 · 10.05

В книге и фильме «Чарли и шоколадная фабрика» владелец фабрики Вилли Вонка решает найти себе преемника, поэтому приглашает нескольких детей на экскурсию, где они подвергаются разного рода проверкам на соответствие нужным человеческим качествам: отсутствие жадности, эгоизма, честолюбия, гордыни итд. Но есть проблема. Изначально дети должны были быть выбраны случайно: в выпускаемых фабрикой шоколадках спрятали 5 билетов. Но по факту такой способ как раз приводит к отбору наиболее нерелевантных кандидатов: один билет получает мальчик-обжора из-за того, что ест слишком много шоколада, другой билет попадает к избалованной дочке миллиардера, потому что он просто покупает ей очень много пачек, третий достается самовлюблённой тщеславной спортсменке, помешанной на победах по всём, четвертый вычисляет геймер, который не любит шоколад. На мой взгляд это хорошая задачка для собеседования HR-специалисту: каждая итерация отбора должна приближать выборку к цели, а не отдалять. Что мог сделать Вонка, чтобы изначально к нему попала пятерка добрых и честных детей? Второй важный момент это разница между гипотетическим и реальным функционированием той или иной системы. Такого в жизни очень много: например, в голосованиях на каких-нибудь конкурсах теоретически предполагается, что люди не будут накручивать, а ПДД не предполагают, что на слишком широкой полосе люди будут ехать в два ряда абсолютно всегда (см. Выборгское шоссе). Бюрократия так вообще вся построена на отрицании реальности, что приводит, например, к существованию понятия «Итальянская забастовка». Считаю, что способность адекватно дозировать формализм с поправкой на реальность это ценное свойство, например, для руководителя. #life

Hashtags

#life

Резултати

Намерени 1 подобни публикации

Търсене: #llmarena

当前筛选 #llmarena清除筛选

Machinelearning

@ai_machinelearning_big_data · Post #8560 · 16.09.2025 г., 16:22

Намери подобни Прегледай

🔥 Как реально выбирают LLM в 2025 — исследование LLM Arena Интересный опрос практиков (инженеров, ML-учёных, AI-продуктов) - как сегодня на самом деле выбирают языковые модели (LLM), что важнее: бенчмарки или собственные тесты, цена/скорость/качество, и чего не хватает в информации по моделям. 📊Ключевые выводы - 82,2% респондентов проводят собственные тесты; бенчмарки — лишь ориентир, не решение. - 26,7% вообще не пользуются бенчмарками. - В центре внимания: баланс качество / цена / скорость, устойчивость (без галлюцинаций), соответствие инфраструктуре. 👥 Участники опроса - 45 практиков с опытом работы с LLM-продуктами; все участники — профессионалы. - ML/AI Инженеры, Data Scientists, AI-строители, и менеджмент. 🔑 Что ищут и какие сигналы важны: - Часто оценивают обсуждаемость модели в статьях/сообществе; практическое применение в похожих продуктах. - Обращают внимание на число скачиваний и звёзд на Hugging Face / GitHub. - Хотят больше данных о требованиях к железу, лицензиях, локальной работе, графиках “цена vs качество”, “скорость vs качество”. ⚠️Проблемы & доверие - Многие не доверяют существующим бенчмаркам из-за методологических проблем (train/test leakage, нерелевантность задач). - Лабораторные условия часто сильно отличаются от продакшн. - Нехватка отзывов по реальным сценариям и использованиям. При выборе LLM важнее собственные тесты и контекст задач, чем рейтинги. Специалисты хотят поточечных данных: про лицензии, требования к железу, latency, стоимость. Инициатор исследования Роман Куцев - фаундер и CEO LLM Arena, публикуют много интересного у себя в блоге. Для тех, кто строит LLM-продукты, полезно: - Не ориентироваться только на чужие бенчмарки. - Собирать метрики в собственных условиях — на реальных данных. - Открыто показывать, что работает, а что — нет, в документации и обсуждениях. 🟢 Полное исследование: https://research.llmarena.ru/ #LLM#AI#ИИ#LLMArena#исследование#нейросети#benchmarks

Hashtags

#llm #ai #ии #llmarena #исследование #нейросети #benchmarks