#python#large_language_models#machine_learning_systems#natural_language_processing
Flash Linear Attention (FLA) is a fast, memory-efficient library for advanced linear attention models used in transformers, written in PyTorch and Triton, and compatible with NVIDIA, AMD, and Intel GPUs. It offers many state-of-the-art linear attention models and fused modules that speed up training and reduce memory use. You can easily replace standard attention layers in your models with FLA’s efficient versions, improving training and inference speed, especially for long sequences. FLA supports hybrid models mixing linear and standard attention, and integrates with Hugging Face Transformers for easy use and evaluation. This helps you train and run large language models faster and with less memory, making your AI projects more efficient and scalable.
https://github.com/fla-org/flash-linear-attention
#einstein
Einstein@Home нашёл новые пульсары
25 сентября 2025 вышла свежая работа (arXiv:2509.21307) — проект Einstein@Home нашёл четыре новых гамма-пульсара, включая один миллисекундный, с помощью добровольных вычислений.
Да-да, эти открытия сделали обычные ПК и GPU людей по всему миру.
Ключевое:
Данные — с телескопа Fermi LAT.
Один пульсар всего в 0,93° от центра Галактики.
Все четыре — «немые» в радио, их раньше просто не замечали.
Расчёты шли на ~30 000 машин, объединённых в распределённый кластер через BOINC.
И это не игрушка — публикация в рефери-журнале.
Любопытно, что метод поиска использовал фазовое вычитание, чтобы отделить слабый сигнал от фона центра Галактики — почти как в AI-детекции шумных данных.
Мораль: если дома стоит без дела мощная видеокарта, она может не только простаивать 99% времени, но и внести вклад в науку.
Сравниваем
MacStudio на M1 Ultra
и MacBook Pro на M4 Pro
на проекте Einstein@home
У M1 Ultra 20 CPU, но одну таску на 105 000 GFLOPS он далает 2ч15мин на CPU
M4 Pro чип намного более свежий, в ноутбучном исполнении. 12 CPU, но на одну таску уходит по 1ч15мин на CPU
На GPU работает 48 ядер на M1 Ultra против 16 на M4Pro
Но новое поколение решает и более свежий чип делает одной таску на 17 500 GFPOLS за 6 минут вместо 8. Несмотря на ноутбучное исполнение.
#einstein
Я поставил в расчет на Einstein по 4 задачи в паралели (настраивается на сайте проекта), потому что длительность расчёта почти не увеличивается, а количество отработанных тасков увеличивается значительно (RTX 4090).
Почему так? Таcки Einstein на GPU что-то долго крутят вначале на почти холодной видеокарте, а при расчете четырех тасков параллельно нагрузка на GPU становится стабильной, TDP 260Ватт. Это, кстати довольно много, но для сравнения PrimeGrid умеет грузить GPU на 450Ватт, сказывется особенность вычислений. Операции с простыми числами будто созданы для обеспечения полной нагрузки на видеокарты.
#einstein
#primegrid
🪐 In the galaxy cluster Abell 2744, astronomers use high-precision observations to study the effects of gravitational time dilation, where the enormous mass of the cluster slows the passage of time for objects inside compared to more distant observers. This real effect, predicted by Einstein, means that clocks deep within Abell 2744’s intense gravity would actually tick just a little slower than those far from its massive core—a subtle warping of time caused by gravity on a truly cosmic scale. ✨
#timedilation⚡#einstein⚡#abell2744⚡#nasa⚡#galaxy⚡#stars⚡#astronomy⚡#universe⚡#cosmos⚡#space
👉subscribe Universe Mysteries
👉more Channels
What If The Universe DID NOT Start With The Big Bang?
@PBS Space Time
👉 Head to https://brilliant.org/spacetime/ for a 30-day free trial + 20% off your annual subscription
#YouTube#liked#Black_Holes#Black_Hole#Black_Hole_Physics#Space#Outer_Space#Physics#Astrophysics#Quantum_Mechanics#Space_Physics#PBS#Space_Time#Time#PBS_Space_Time#Matt_O_Dowd#Einstein#Einsteinian_Physics#General_Relativity#Special_Relativity#Dark_Energy#Dark_Matter#The_Universe#Math#Science_Fiction#Calculus#Maths#Holographic_Universe#Holographic_Principle#Rare_Earth#Anthropic_Principle#Weak_Anthropic_Principle#Strong_Anthropic_Principle