Бывает начинающие в процессе обучения создают файлы с именем модуля который они изучают. В результате на тестовых запусках ничего не работает😱
Всё потому, что появилась коллизия имён. Например, изучаете вы модуль datetime, и создаёте с таким именем файл (ну логично же😄) прямо в рабочей директории.
Потом, при попытке импортировать datetime модуль, из-за приоритета импорта будет импортирован файл из рабочий директории а не оригинальная библиотека. Ведь имя файла это суть имя модуля!
А знаете ли вы, что не все стандартные модули можно так перезаписать? Коллизии имён не подвержены builtin модули. Они всегда стоят на первом месте в приоритете импорта, поэтому их нельзя заменить.
Полный список таких модулей можно посмотреть в списке sys.builtin_module_names.
То есть, вы сломаете весь Python если назовёте свой модуль os или site, но если назовёте time или gc то ничего страшного не случится)))
Тем не менее, никогда не называйте модули уже занятыми именами!!!⚠️
Я всегда рекомендую всем своим файлам делать именной префикс из 2-3 символов. Например я называю свои проекты так:
pw_project_name
pw_ui_tools.py
pw_something/main.py
Либо под ситуацию
tst_scriptname.py
(не "test" чтобы не подхватывал pytest)
dbg_script.py
maya_ui.py
hou_menu_tools.py
И искать проще, и коллизий нет.
#tricks#basic
🚀 OpenAI **gpt-oss** с ультрадлинным контекстом!
Unsloth выпустили Flex Attention, который даёт до 61K контекста для gpt-oss bf16 при обучении на GPU с 80GB.
📊 Что это значит:
- 8× больше контекста
- потребляет на 50% меньше VRAM
- 1.5× быстрее по сравнению с альтернативами (включая FA3)
Для BF16 LoRA теперь можно тренировать с ~60K контекстом на одной H100 80GB.
🔗 Подробнее: https://docs.unsloth.ai/basics/long-context-gpt-oss-training
@ai_machinelearning_big_data
#Unsloth#OpenAI#gptoss#chatgpt
⚡️GGUF-версии GPT-OSS от Unsloth.
Unsloth конвертировали обе GPT-OSS (20B и 120B) и исправили ошибки, чтобы повысить качество инференса.
🟡Оптимальный сетап:
🟢20B работает со скоростью более 10 токенов/с при полной точности на 14 ГБ оперативной памяти.
🟢120B с полной точностью будет давать >40 токенов/с на примерно 64 ГБ ОЗУ.
Минимальных требований для запуска моделей нет, запуститься можно даже если у вас всего 6 ГБ и только CPU, но инференс будет медленнее.
GPU не требуется , особенно для модели 20B, но его наличие значительно увеличивает скорость вывода (~80 токенов/с). С чем-то вроде H100 можно получить пропускную способность 140 токенов/с, и это значительно быстрее, чем у OpenAI в ChatGPT.
Модели можно запустить через llama.cpp, LM Studio или Open WebUI. Если модель 120B слишком медленная, попробуйте версию 20B - она очень быстрая и работает не хуже o3-mini.
Помимо моделей формата GGUF c полной точностью, Unsloth сделали версии с 4-bit и 16-bit точностью. 4-бинтый квант, кстати, можно файнтюнить на 24 ГБ VRAM.
📌 Подробная пошаговая инструкция по локальному запуску и файнтюну - в документации Unsloth.
🟡Набор моделей
🟡Документация
@ai_machinelearning_big_data
#AI#ML#GPTOSS#GGUF#Unsloth
🖥gpt-oss работает на специальном формате промптов — Harmony, и без него модель просто не будет выдавать корректные ответы.
Зачем нужен Harmony?
Этот формат нужен для:
— 🧠 генерации chain of thought рассуждений
— 🔧 корректного вызова функций и использования инструментов
— 📦 вывода в разные каналы: обычный ответ, reasoning, tool call
— 🗂️ поддержки tool namespaces и иерархических инструкций
💡 Harmony имитирует OpenAI Responses API, так что если вы с ним работали — будет легко освоиться.
👉 Если вы используете gpt-oss через HuggingFace, Ollama или vLLM, волноваться не нужно.
Но если строите свой пайплайн — обязательно изучитегайд по Harmony.
Без него модель просто не будет работать как надо.
pip install openai-harmony
# or if you are using uv
uv pip install openai-harmony
@ai_machinelearning_big_data
#gptOSS#Harmony#OpenAI#LLM#PromptEngineering