TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #396 · 22.06

Попробовал Github Copilot. Это проект, в рамках которого Гитхаб обучил нейросеть на миллионах строк программного кода, загруженного людьми, и теперь она вроде как способна предлагать автоматическое дополнение к тому, что вы пишете. В теории, если вы напишете название функции, например public int Fibonacci(int n), то она сразу предложит вам автоматически подставить всё остальное. Конкретно с этим примером система действительно справляется, но в целом впечатления у меня от неё смешанные, и на мой взгляд она пока что не стоит тех $10 в месяц, которые за неё просят после тестового двухмесячного периода. Я уже писал ранее о своём отношении к нейросетям. В задачах дополнения данных они работают средненько: значимый процент решений будет с ошибками. Вот и здесь — сначала я подумал, что Copilot сможет за меня копипастить популярные однотипные куски кода из интернета. Например, я не помню алгоритм Вагнера-Фишера, постоянно его копирую из своих других проектов, часть из которых выложена на Github и наверняка была передана в обучение Copilot. Я предложил нейросетям мне этот алгоритм написать, они написали что-то отдалённо похожее. Внешне выглядело убедительно и даже компилировалось, но работало неправильно, и при ближайшем рассмотрении оказалось, что там просто случайно надёрганные строчки из настоящего алгоритма. Некоторые проверки по 2 раза, а часть нужной логики упущено совсем. Об оформлении кода вообще говорить не стоит: пока всё, что мне выдавалось, оформлено плохо, и на ревью я бы написал разработчику несколько замечаний. Однако, в других местах работает, как задумано. Если у вас есть дуальные функции, оно умеет предлагать дописать остаток (пример на скриншоте ниже). Но из того, что я попробовал, только процентов 20 случаев реально были полезны. Остальные 80% или вообще неверный код, или правильный, но такой неаккуратный, что лучше самому написать. Есть ещё проблема: массовый копипаст довольно опасен, потому что легко пропустить какую-то мелочь. В идеале нужно весь вставленный код проверять построчно, но по когнитивной нагрузке это близко к тому, чтобы создать его самостоятельно. И человеческое внимание совершенно точно будет расслабляться и размываться при работе с такими средствами автодополнения, а, значит, неизбежны ошибки. На месте чувствительной к багам энтерпрайз-разработки я бы вообще запрещал бы своим сотрудникам применять Copilot. С другой стороны, возможно, подобная утилита хорошо зайдёт для прототипирования, на хакатонах, на стримах с демонстрацией разработки чего-нибудь. У меня будет возможность проверить на соревновании через месяц, но в работе скорее всего отключу. #dev

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #llmarena

当前筛选 #llmarena清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8560 · 16.09.2025 г., 16:22

🔥 Как реально выбирают LLM в 2025 — исследование LLM Arena Интересный опрос практиков (инженеров, ML-учёных, AI-продуктов) - как сегодня на самом деле выбирают языковые модели (LLM), что важнее: бенчмарки или собственные тесты, цена/скорость/качество, и чего не хватает в информации по моделям. 📊Ключевые выводы - 82,2% респондентов проводят собственные тесты; бенчмарки — лишь ориентир, не решение. - 26,7% вообще не пользуются бенчмарками. - В центре внимания: баланс качество / цена / скорость, устойчивость (без галлюцинаций), соответствие инфраструктуре. 👥 Участники опроса - 45 практиков с опытом работы с LLM-продуктами; все участники — профессионалы. - ML/AI Инженеры, Data Scientists, AI-строители, и менеджмент. 🔑 Что ищут и какие сигналы важны: - Часто оценивают обсуждаемость модели в статьях/сообществе; практическое применение в похожих продуктах. - Обращают внимание на число скачиваний и звёзд на Hugging Face / GitHub. - Хотят больше данных о требованиях к железу, лицензиях, локальной работе, графиках “цена vs качество”, “скорость vs качество”. ⚠️Проблемы & доверие - Многие не доверяют существующим бенчмаркам из-за методологических проблем (train/test leakage, нерелевантность задач). - Лабораторные условия часто сильно отличаются от продакшн. - Нехватка отзывов по реальным сценариям и использованиям. При выборе LLM важнее собственные тесты и контекст задач, чем рейтинги. Специалисты хотят поточечных данных: про лицензии, требования к железу, latency, стоимость. Инициатор исследования Роман Куцев - фаундер и CEO LLM Arena, публикуют много интересного у себя в блоге. Для тех, кто строит LLM-продукты, полезно: - Не ориентироваться только на чужие бенчмарки. - Собирать метрики в собственных условиях — на реальных данных. - Открыто показывать, что работает, а что — нет, в документации и обсуждениях. 🟢 Полное исследование: https://research.llmarena.ru/ #LLM#AI#ИИ#LLMArena#исследование#нейросети#benchmarks