LakoMoor

HF книжка по megatron, fsdp и прочему для обучения реально больших моделей

Это победа! 🤩 Микроконтроллер распаян, компоненты драйвера двигателя тоже ( паять SMD компоненты - то ещё удовольствие... ). Прошивка залита, двигатель управляется, а это значит, что схема спроектирована правильно. Полторы недели работы были не напрасными. Завтра постараюсь рассказать подробнее, что я задумал.

Qwen3-Next 80B-A3B C того момента как она вышла, уже вышла Doubao, Step3, Qwen3-235B, DeepSeek V3.2 и я за пивом - Hybrid Architecture: Gated DeltaNet + Gated Att - вариция на тему RNN + не везде а только 75% cлоев и 25% cлоев обычный attention - 3b активных параметров при 80 тотал - Используют QK postnorm по аналогии с DIT для улучшения стабильности - MTP как в deepseek - Показывают бОльшую скорость префила и декода чем соседи по метрикам (это если что qwen 30bA3 и qwen 32b) blog

Vistral-24B-Instruct Vistral - это наша новая флагманская унимодальная LLM представляющая из себя улучшенную версию Mistral-Small-3.2-24B-Instruct-2506 командой VikhrModels, адаптированную преимущественно для русского и английского языков. Удалён визуальный энкодер, убрана мультимодальность. Сохранена стандартная архитектура MistralForCausalLM без изменений в базовой структуре модели. 🔗Карточка модели: https://huggingface.co/Vikhrmodels/Vistral-24B-Instruct 🔗GGUF (скоро): https://huggingface.co/Vikhrmodels/Vistral-24B-Instruct-GGUF ⚖️Лицензия: apache-2.0 Сайт: https://vikhr.org Донаты: Здесь 👥Авторы: @LakoMoorDev@nlpwanderer

Таймлайн у нас... Интересный. Короче Sama дали PhD в mbzuai Спасибо Артёму за инсайты!

ищу стажерку на позицию девушка адмена Условия - побывать в разных странах - вкусная еда - возможно неплохие подарки на праздники - возмонжость спросить что угодно про нейросети Требования: - коммит в репе linux kernel - патчинг кде под FreeBSD - высшее образование в топ5 вузов рф/в процессе получения - хорошая школа/лицей топ100 в россии - пост ироничные мемы - нормальный уход за собой(без переборов, но на спорт ходим пару раз в неделю со мной)

у них всех ХИРШ больше чем у тебя

Почему в Китай слетать дороже, чем в Германию...?

Поздравляю причастных!

Поздравляю причастных!

Аче всмысле

Аче всмысле