TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #340 · 10.05

В книге и фильме «Чарли и шоколадная фабрика» владелец фабрики Вилли Вонка решает найти себе преемника, поэтому приглашает нескольких детей на экскурсию, где они подвергаются разного рода проверкам на соответствие нужным человеческим качествам: отсутствие жадности, эгоизма, честолюбия, гордыни итд. Но есть проблема. Изначально дети должны были быть выбраны случайно: в выпускаемых фабрикой шоколадках спрятали 5 билетов. Но по факту такой способ как раз приводит к отбору наиболее нерелевантных кандидатов: один билет получает мальчик-обжора из-за того, что ест слишком много шоколада, другой билет попадает к избалованной дочке миллиардера, потому что он просто покупает ей очень много пачек, третий достается самовлюблённой тщеславной спортсменке, помешанной на победах по всём, четвертый вычисляет геймер, который не любит шоколад. На мой взгляд это хорошая задачка для собеседования HR-специалисту: каждая итерация отбора должна приближать выборку к цели, а не отдалять. Что мог сделать Вонка, чтобы изначально к нему попала пятерка добрых и честных детей? Второй важный момент это разница между гипотетическим и реальным функционированием той или иной системы. Такого в жизни очень много: например, в голосованиях на каких-нибудь конкурсах теоретически предполагается, что люди не будут накручивать, а ПДД не предполагают, что на слишком широкой полосе люди будут ехать в два ряда абсолютно всегда (см. Выборгское шоссе). Бюрократия так вообще вся построена на отрицании реальности, что приводит, например, к существованию понятия «Итальянская забастовка». Считаю, что способность адекватно дозировать формализм с поправкой на реальность это ценное свойство, например, для руководителя. #life

Hashtags

Резултати

Намерени 3 подобни публикации

Търсене: #gptoss

当前筛选 #gptoss清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8413 · 29.08.2025 г., 18:01

🚀 OpenAI **gpt-oss** с ультрадлинным контекстом! Unsloth выпустили Flex Attention, который даёт до 61K контекста для gpt-oss bf16 при обучении на GPU с 80GB. 📊 Что это значит: - 8× больше контекста - потребляет на 50% меньше VRAM - 1.5× быстрее по сравнению с альтернативами (включая FA3) Для BF16 LoRA теперь можно тренировать с ~60K контекстом на одной H100 80GB. 🔗 Подробнее: https://docs.unsloth.ai/basics/long-context-gpt-oss-training @ai_machinelearning_big_data #Unsloth#OpenAI#gptoss#chatgpt

Machinelearning

@ai_machinelearning_big_data · Post #8238 · 08.08.2025 г., 11:34

⚡️GGUF-версии GPT-OSS от Unsloth. Unsloth конвертировали обе GPT-OSS (20B и 120B) и исправили ошибки, чтобы повысить качество инференса. 🟡Оптимальный сетап: 🟢20B работает со скоростью более 10 токенов/с при полной точности на 14 ГБ оперативной памяти. 🟢120B с полной точностью будет давать >40 токенов/с на примерно 64 ГБ ОЗУ. Минимальных требований для запуска моделей нет, запуститься можно даже если у вас всего 6 ГБ и только CPU, но инференс будет медленнее. GPU не требуется , особенно для модели 20B, но его наличие значительно увеличивает скорость вывода (~80 токенов/с). С чем-то вроде H100 можно получить пропускную способность 140 токенов/с, и это значительно быстрее, чем у OpenAI в ChatGPT. Модели можно запустить через llama.cpp, LM Studio или Open WebUI. Если модель 120B слишком медленная, попробуйте версию 20B - она очень быстрая и работает не хуже o3-mini. Помимо моделей формата GGUF c полной точностью, Unsloth сделали версии с 4-bit и 16-bit точностью. 4-бинтый квант, кстати, можно файнтюнить на 24 ГБ VRAM. 📌 Подробная пошаговая инструкция по локальному запуску и файнтюну - в документации Unsloth. 🟡Набор моделей 🟡Документация @ai_machinelearning_big_data #AI#ML#GPTOSS#GGUF#Unsloth

Machinelearning

@ai_machinelearning_big_data · Post #8215 · 06.08.2025 г., 10:09

🖥gpt-oss работает на специальном формате промптов — Harmony, и без него модель просто не будет выдавать корректные ответы. Зачем нужен Harmony? Этот формат нужен для: — 🧠 генерации chain of thought рассуждений — 🔧 корректного вызова функций и использования инструментов — 📦 вывода в разные каналы: обычный ответ, reasoning, tool call — 🗂️ поддержки tool namespaces и иерархических инструкций 💡 Harmony имитирует OpenAI Responses API, так что если вы с ним работали — будет легко освоиться. 👉 Если вы используете gpt-oss через HuggingFace, Ollama или vLLM, волноваться не нужно. Но если строите свой пайплайн — обязательно изучитегайд по Harmony. Без него модель просто не будет работать как надо. pip install openai-harmony # or if you are using uv uv pip install openai-harmony @ai_machinelearning_big_data #gptOSS#Harmony#OpenAI#LLM#PromptEngineering