Намери подобно съдържание

#Mathematics#DeepLearning 📓 Mathematics for Deep Learning 🧑‍🎓 🔗book ----- Main channel: @repo_science Coupons: @freecoupons_reposcience -----

💰Google TPUs - главный конкурент NVIDIA? Аналитики считают: если бы Google выделила бизнес по TPU-чипам вместе с лабораторией DeepMind, то объединённая компания могла бы стоить около $900 млрд. Пока этого не произойдёт, но сама цифра показывает масштаб. 📌Что такое TPU и почему они важны 🟢Чипы, созданные специально для машинного обучения 🟢Их производительность — до 42,5 экзафлопс 🟢Сами чипы сопоставимы с NVIDIA по скорости и энергоэффективности 🟢 За полгода активность разработчиков в Google Cloud выросла на 96% , благодаря собственному железу 🔥Новые поколения чипов - 6-е поколение Trillium уже пользуется высоким спросом - 7-е поколение Ironwood станет первым TPU, ориентированным на крупномасштабный inference — этап, когда модели реально используются после обучения Anthropic и xAI активно рассматривают переход на TPU, так как улучшенная поддержка через JAX делает их использование на больших масштабах заметно проще. Google уже заключила сделку с Fluidstack (Нью-Йорк) и ведёт переговоры с другими облачными провайдерами, которые раньше работали в основном с NVIDIA (например, Crusoe и **CoreWeave**). В итоге Google выходит в прямую конкуренцию с NVIDIA — и впервые за долгое время у «зелёного гиганта» появился серьёзный соперник. 🟢Новость: marketwatch. com/story/google-may-be-sitting-on-a-900-billion-gem-that-could-disrupt-nvidias-dominance-20662ec6 @ai_machinelearning_big_data #google#nvidia#tpu#deeplearning

⚡️Glyph: масштабирование контекста через визуально-текстовую компрессию В основе модели лежит простая идея : вместо того чтобы кормить модели километровый текст, Glyph превращает его в изображение и обрабатывает через vision-language модель. Используется LLM-управляемый генетический алгоритм, чтобы подобрать наилучшие параметры визуального отображения текста (шрифт, плотность, макет), балансируя между сжатием и точностью. Это радикально снижает вычислительные затраты, сохраняя при этом смысловую структуру текста. При этом точность почти не падает: на задачах с длинным контекстом Glyph работает на уровне современных моделей вроде Qwen3-8B. При экстремальном сжатии VLM с контекстом 128K может эффективно обрабатывать задачи, эквивалентные 1M+ токенов в традиционных LLM. Фактически, длинный контекст становится мультимодальной задачей, а не чисто текстовой. 📄Подробности: arxiv.org/abs/2510.17800 🧩Веса: huggingface.co/zai-org/Glyph 👉Репозиторий: github.com/thu-coai/Glyph @ai_machinelearning_big_data #AI#LLM#Multimodal#Research#DeepLearning

✅ Завтра ✅ AI.Hack Москва 📅 16–18 марта / 19:00–22:00 (время МСК) / Москва, проспект Мира, 121 💵 Бесплатно 📝 Регистрация тут: https://goo.gl/3gkRj6 Приглашаем программистов нейросетей, специалистов по machine learning, deep learning, data scientists, computer vision, предпринимателей с опытом развития технологичных бизнесов и всех заинтересованных принять участие!​ Призовой фонд хакатона: 600 000 руб. #MachineLearning#DeepLearning#DataScientists#Москва

UCSD and Together AI Research Introduces Parcae: A Stable Architecture for Looped Language Models That Achieves the Quality of a Transformer Twice the Size The core idea is to recast the looped forward pass as a nonlinear time-variant dynamical system over the residual stream. By analyzing the linearized form of this system, the research team shows that prior injection methods — addition and concatenation-with-projection — produce marginally stable or unconstrained parameterizations of the state transition matrix Ā. Parcae fixes this by constraining Ā via discretization of a negative diagonal parameterization, guaranteeing ρ(Ā) < 1 at all times. Two additional training fixes accompany the architectural change: a normalization layer on the prelude output to prevent late-stage loss spikes, and a per-sequence depth sampling algorithm that corrects a distributional mismatch bug in prior recurrence sampling methods. On results: → Parcae reduces validation perplexity by up to 6.3% over parameter- and data-matched RDMs at 350M scale → A 770M Parcae model matches the Core benchmark quality of a 1.3B standard Transformer → At 1.3B parameters, Parcae outperforms the parameter-matched Transformer by 2.99 points on Core and 1.18 points on Core-Extended On scaling laws: → Compute-optimal training scales mean recurrence µ_rec and tokens D in tandem following power laws (µ_rec ∝ C^0.40, D ∝ C^0.78) → Test-time looping follows a saturating exponential decay — gains plateau near the training recurrence depth µ_rec, setting a hard ceiling on inference-time scaling → A unified law predicts held-out model loss within 0.85–1.31% average error Pretrained models from 140M to 1.3B are available on Hugging Face. Full analysis: https://www.marktechpost.com/2026/04/16/ucsd-and-together-ai-research-introduces-parcae-a-stable-architecture-for-looped-language-models-that-achieves-the-quality-of-a-transformer-twice-the-size/ Paper: https://arxiv.org/pdf/2604.12946 Technical details: https://www.together.ai/blog/parcae Models: https://huggingface.co/collections/SandyResearch/parcae #MachineLearning#NLP#LLM#DeepLearning#AIResearch

​​Paper Review: Llama 2: Open Foundation and Fine-Tuned Chat Models Introducing Llama 2, a cutting-edge ensemble of large language models ranging from 7 to 70 billion parameters! These models, specially fine-tuned for dialogue use cases, not only outperform existing open-source chat models but also showcase exemplary performance in safety and helpfulness. Llama 2 creators have opened the door for AI community, sharing their detailed approach to inspire further advancements in the development of responsible AI. Project link: https://ai.meta.com/llama/ Model link: https://github.com/facebookresearch/llama Paper link: https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/ A detailed unofficial overview of the paper: https://andlukyane.com/blog/paper-review-llama2 #deeplearning#nlp#safetyai#responsibleai

#вакансия#job#ML#datascience#deeplearning#MLOps#MLEngineer#remote Role: ML Engineer at Data Monsters Fully remote, flexible work hours Remuneration: $1,1-2,5K Contact: @mipt_nz We are seeking a highly motivated Machine Learning Developer to join our team. The successful candidate will be responsible for developing and deploying ML models to solve complex business problems. In particular, the new colleague will work on an algorithm for predicting the cost of services based on a set of factors that influence the price. The ideal candidate should be familiar with handling large datasets, have strong knowledge of Python, SQL, and experience working with NN and classical ML algorithms. Responsibilities: - Develop, test, and deploy ML models to solve complex business problems. - Collect and preprocess large datasets to ensure data quality. - Use SQL to extract data from databases, manipulate data, and perform data analysis. - Develop and implement NN models to improve the accuracy of predictions. - Develop, test, and implement classical ML algorithms such as linear regression, decision trees, and k-means clustering. - Collaborate with cross-functional teams to understand business requirements and provide insights. - Monitor and evaluate model performance and make adjustments as necessary. - Stay up-to-date with the latest ML and data science techniques. Requirements: - At least 2 years of experience in ML development. - Strong knowledge of SQL, and experience working with databases such as PostgreSQL, MySQL. - Python and popular data science libraries such (NumPy, Pandas, Scikit-learn, etc.) - Knowledge of NN architectures such as Convolutional NN, Recurrent NN, and Deep NN. - Strong knowledge of basic ML algorithms (linear regression, decision trees, and k-means clustering, etc.). - Experience with data visualization tools such as Matplotlib and Seaborn - English speaking equivalent to at least B2. As a plus: - Experience with cloud-based ML platforms such as AWS or GCP and MLOps. If you are a passionate ML developer willing to work with cutting-edge technology, and looking for a new challenge, we would love to hear from you 👍🏻 please DM @mipt_nz

🔊【#深度解读】 他曾因迷茫而离开校园去学木工，却后来用“玻尔兹曼机”刷新机器学习范式；如今又凭神经网络理论斩获 2024 年诺贝尔物理学奖，被誉为“AI 教父”​。 想知道 Geoffrey Hinton 如何把好奇心炼成颠覆时代的科学革命？点击下方长文链接，跟我一起解锁这段从「木匠」到「诺奖」的脑洞旅程！#GeoffreyHinton#NobelPrize#AI#DeepLearning#TechRevolution 👉阅读全文

Добро пожаловать в мир главного ит тренда - машинного обучения: @machinelearning_ru В канале вы найдете : 📃Статьи , 📚Книги 👨‍💻Код 🔗Ссылки 🦾Вакансии и много другой полезной информации #ArtificialIntelligence#DeepLearning #MachineLearning#DataScience #Python 1 канал вместо тысячи учебников и курсов 👇👇👇 🤖@machinelearning_ru

Добро пожаловать в мир главного ит тренда - машинного обучения: @machinelearning_ru В канале вы найдет : 📃Статьи , 📚Книги 👨‍💻Код 🔗Ссылки и много другой полезной информации #ArtificialIntelligence#DeepLearning #MachineLearning#DataScience #Python 1 канал вместо тысячиучебников и курсов👇👇👇 🤖@machinelearning_ru

🚀 Новая китайская модель LongCat-Flash-Thinking 🧠 Это модель для рассуждений, которая показала SOTA-результаты среди open-source решений. ⚡ Основное: - Архитектура MoE, 560B параметров, из них 27B активируются. - Эффективность: требует на **64,5% меньше токенов**( чем другим открытым моделям того же класса), чтобы достичь топ-результатов на AIME25 (с нативным использованием инструментов,). - Контекст: 128k, обучение с усилением на задачах рассуждений и кода, многоэтапное пост-тюнинг обучение с мультиагентным синтезом. - Инфраструктура: асинхронный RL даёт 3x ускорение по сравнению с синхронными фреймворками. ⚙️ Оптимизации для продакшена: - Свои оптимизированные ядра для работы с MoE и специальные приёмы распределённого обучения, - KV-cache reduction, квантование, chunked prefill, - статическая/эластичная маршрутизация, peer-to-peer cache transfer, heavy-hitter replication и PD-disaggregation. - Поддержка SGLang и vLLM для эффективного деплоя. 📊 Бенчмарки: - Лидирует в tool use (**τ²-Bench, VitaBench**) - Хорошие результаты по instruction following (**IFEval, COLLIE, Meeseeks-zh**). Китайцы стабильно удерживают лидерство в reasoning-моделях. 🟠HF: https://huggingface.co/meituan-longcat/LongCat-Flash-Thinking @ai_machinelearning_big_data #AI#LLM#Reasoning#MoE#DeepLearning#OpenSource

🔥 Сенсей Карпаты выложил новый репозиторий - полный пайплайн обучения LLM с нуля В проекте есть всё, чтобы собрать свой ChatGPT-клон за $100 и 4 часа: > • токенизатор (написан на Rust) > • pretraining > • SFT (supervised fine-tuning) > • RL (reinforcement learning) > • оценка модели (eval) Всего 8 000 строк кода, без лишних зависимостей - идеальный учебный пример, чтобы понять, как реально устроено обучение больших языковых моделей. 💡 Это проект из его нового грядущего курса LLM101n, и отличная возможность прокачать свои ML-навыки на практике. Можно арендовать GPU в облаке и запустить всё самому - код уже готов к запуску. Если запустить обучение модели nanochat на облачном GPU-сервере (например, 8×H100), то примерно через 12 часов обучения (стоимость ~300–400 $) модель достигает уровня GPT-2 по качеству на тестовых наборах (CORE-score). А если тренировать около 40 часов (затраты ~1000 $), решает простые задачи по математике и коду, набирая: - 40+ на MMLU - 70+ на ARC-Easy - 20+ на GSM8K 🧠 Это бесплатная практика топ уровня от мастера, которую не стоит упускать. 🟠GitHub:https://github.com/karpathy/nanochat 🟠Технические детали:https://github.com/karpathy/nanochat/discussions/1 @ai_machinelearning_big_data #LLM#nanochat#MachineLearning#DeepLearning#AI#GPT