TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #61 · 1.07

Посмотрел дебаты Панчина и Редько, где первый топил за вакцинацию, а второй — против конкретно вакцинации от ковида в текущий момент. Панчина я знаю давно (не лично, хотя видел его пару раз), и он говорит непротиворечивые вещи, которые согласуются с моими собственными наблюдениями за тем, как устроен мир. При этом его оппонент держался не слишком уверенно, не обладал стройной речью, говорил сбивчиво и путался, использовал терминологию в стиле «Вы всё врёте» и упомянул, что смотрит Соловьева. Ну и оговорка (?) про «лохокост» тоже очень резанула уши. Для меня исход дебатов очевиден: победа Панчина с большим отрывом Точнее даже фактически дебаты толком не состоялись, потому что хорошей дискуссии я не увидел. Но, если посмотреть объективно, то оппоненты говорили о вещах, в которых я не разбираюсь, и истинность/ложность многих посылов гарантированно подтвердить не могу. То есть чисто гипотетически возможно, что это не тёмный Редько нёс ерунду, а на самом деле языкастый Панчин заговорил всем зубы. Потом я подумал, а существует ли способ, не обучая меня 20 лет на врача, относительно надежно дать мне возможность разобраться, где тут правда? И, пожалуй, ответ нет. Более того — даже обучая, всё равно нет. А проблема тут в том, что люди отрицают даже вполне объективные вещи, если только их нельзя строго научно обосновать. Если можно -- тоже отрицают, но с такими людьми можно ни в какие дебаты не вступать. А вот если не было проведено исследование о том, что вода мокрая, то спуск по дереву абстракции до этого аргумента всё равно не позволит надёжно свой постулат подтвердить и оппоненту и слушателям. А есть исследование, что вода мокрая? Можно ли доверять этому исследованию? А мне знакомый гидролог сказал, что не мокрая. И у моего друга не мокрая. И вообще, вы же понимаете, лёд это тоже вода, а он не совсем мокрый. Я это на своей сфере остро чувствую. В чатах разработчиков, допустим, теоретически все являются компетентными специалистами, а по факту всё равно всерьёз возникают заявления о том, что, например, система типов в JavaScript -- логичная и предсказуемая, что абстрактные классы не нужны, что не обязательно ставить пробелы вокруг операторов, что отсутствие array-helper'ов в Go это благо и так далее. Впрочем, в комментариях под дебатами на ютубе справедливо раскритиковали, что ведущей следовало сделать хотя бы минимальный факт-чекинг по результатам. А то дебатирующие просто обвиняли друг друга во лжи, и в общем случае произвольному слушателю надёжно понять, кто из них прав, было нельзя. #life

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #llmarena

当前筛选 #llmarena清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8560 · 16.09.2025 г., 16:22

🔥 Как реально выбирают LLM в 2025 — исследование LLM Arena Интересный опрос практиков (инженеров, ML-учёных, AI-продуктов) - как сегодня на самом деле выбирают языковые модели (LLM), что важнее: бенчмарки или собственные тесты, цена/скорость/качество, и чего не хватает в информации по моделям. 📊Ключевые выводы - 82,2% респондентов проводят собственные тесты; бенчмарки — лишь ориентир, не решение. - 26,7% вообще не пользуются бенчмарками. - В центре внимания: баланс качество / цена / скорость, устойчивость (без галлюцинаций), соответствие инфраструктуре. 👥 Участники опроса - 45 практиков с опытом работы с LLM-продуктами; все участники — профессионалы. - ML/AI Инженеры, Data Scientists, AI-строители, и менеджмент. 🔑 Что ищут и какие сигналы важны: - Часто оценивают обсуждаемость модели в статьях/сообществе; практическое применение в похожих продуктах. - Обращают внимание на число скачиваний и звёзд на Hugging Face / GitHub. - Хотят больше данных о требованиях к железу, лицензиях, локальной работе, графиках “цена vs качество”, “скорость vs качество”. ⚠️Проблемы & доверие - Многие не доверяют существующим бенчмаркам из-за методологических проблем (train/test leakage, нерелевантность задач). - Лабораторные условия часто сильно отличаются от продакшн. - Нехватка отзывов по реальным сценариям и использованиям. При выборе LLM важнее собственные тесты и контекст задач, чем рейтинги. Специалисты хотят поточечных данных: про лицензии, требования к железу, latency, стоимость. Инициатор исследования Роман Куцев - фаундер и CEO LLM Arena, публикуют много интересного у себя в блоге. Для тех, кто строит LLM-продукты, полезно: - Не ориентироваться только на чужие бенчмарки. - Собирать метрики в собственных условиях — на реальных данных. - Открыто показывать, что работает, а что — нет, в документации и обсуждениях. 🟢 Полное исследование: https://research.llmarena.ru/ #LLM#AI#ИИ#LLMArena#исследование#нейросети#benchmarks