Machinelearning

✔️Stanford и Google представили Marin — первую полностью открытую LLM, разработанную на JAX Что делает Marin особенной: — Полностью открыты не только веса, но показан весь процесс обучения: код, данные, гиперпараметры модели, логи, эксперименты — всё доступно на GitHub — Модель обучена на 12.7 трлн токенов и в 14 из 19 тестов обошла Llama 3.1 8B — Лицензия Apache 2.0, всё можно использовать, модифицировать и воспроизводить — Levanter + JAX обеспечивают bit‑exact повторяемость и масштабируемость на TPU/GPU Проект позиционируется как открытая лаборатория: каждый эксперимент оформляется через pull request, логируется в WandB, обсуждается в issue и фиксируется в истории репозитория. Даже неудачные эксперименты сохраняются ради прозрачности. Выпущены две версии: - Marin‑8B‑Base — сильный base-модель, превосходит Llama 3.1 8B - Marin‑8B‑Instruct — обучена с помощью SFT, обгоняет OLMo 2, немного уступает Llama 3.1 Tulu Это не просто открытые веса, а новый стандарт для научных вычислений в эпоху больших моделей. * JAX — это фреймворк от Google для научных и численных вычислений, особенно популярен в сфере машинного обучения. **TPU (Tensor Processing Unit) — это специализированный чип от Google, созданный для ускорения AI-задач. 🟠Github: https://github.com/stanford-crfm/marin 🟠Блог: https://developers.googleblog.com/en/stanfords-marin-foundation-model-first-fully-open-model-developed-using-jax/ 🟠Гайд: https://docs.jax.dev/en/latest/quickstart.html @ai_machinelearning_big_data #ai#ml#tpu#jax#google