⚡️ Тестирую новый ИИ-браузер от Perplexity— Comet. Пока он скорее смешной, чем полезный 🐸
Поставил новый ИИ-браузер Comet и дал ему, казалось бы, простую задачу: забрать сайты из Google таблицы, прогнать через сервис аналитики pr-cy и вернуть цифры посещаемости обратно в таблицу по столбцам.
Споткнулся он забавно: оказалось, Google Sheets для него «не удобный», а всплывающие ссылки в Google Sheets его ломают (это когда наводишь на ячейку, где есть ссылка, и всплывает окошко с превью).
Но как он в итоге решил проблемы — это просто комедия (см. видео). Вместо того чтобы разложить данные поочередно в каждую ячейку, он свалил все 4 цифры в одну ячейку через пробел и каждый раз использовал функцию «Разделить» Google Sheets, чтобы разложить данные по ячейкам. И этот костыль помог 😅
Впечатления такие: как всегда, новая магия вне Хогвартса (похожего агента Manus уже тестил до этого), но качество работы агента пока на 100% зависит от того, насколько ювелирно ты разжевал ему ТЗ и насколько ты учел особенности интерфейса. Шаг влево, шаг вправо — и он уже уходит в разную дичь 👽
#ИИ#AI#Автоматизация#Технологии#Нейросети#Продуктивность#PerplexityAI
🔥 Hey everyone, we've got some awesome news! Now you can switch the bot's AI model from gpt-4o-mini to gpt-4o, o1, or o3 using the command below:
/model
🚀 Yup, you heard that right! It’s like choosing from different ice cream flavors—each one has its own irresistible taste! 🍦
❓ Do you want fast and playful answers with gpt-4o-mini? Or are you after precise and calculated responses with gpt-4o? Maybe you're in the mood for a unique vibe with o1 or o3? The choice is all yours!
🙂 So, let's have some fun and see which model suits your style best. If you have any questions or even a cool joke, feel free to share it with us at:
🤩@OpenAI_helpdesk
GPT_o3_mini:
• Smarter than 90% of people
• Speed: 3/5
• Cost: about 90X
GPT_o1:
• Super smart but a bit slow (Speed: 1/5)
• Supports images
• Cost: about 300X
GPT_4o_mini:
• Our main ChatGPT engine
• Super fast (Speed: 5/5)
• Supports images and free tokens
• Only costs 150X!
GPT-4o:
• Speed: 4/5
• Intelligence: 3/5
• Supports images and free tokens
• Cost: about 36X per word + 900X per request
💱 You might end up with too few tokens, so it's better to buy tokens right away to fully enjoy all the bot's awesome features.
☺️ Stay happy and enjoy the bot!
➖➖➖➖🔻
💎@Chatgpt_OfficialNews – Stay Updated! ⚡️
🧠 BOT: @Chatgpt_OfficialBOT
#️⃣#ChatGPT#AI#OpenAI#TokenSystem#CryptoPayments#BotSupport#Update
➖➖➖➖🔺
#rust#ai#ml#zk#zk_snarks#zkml
DeepProve is a fast and efficient tool that uses zero-knowledge cryptography to prove that neural network inferences (like those from MLPs or CNNs) are done correctly without revealing any private data or the model itself. It speeds up verification significantly, for example, proving CNN inference 158 times faster and dense layers 54 times faster than previous methods. This technology is especially useful in fields like healthcare, finance, and blockchain, where privacy and trust are crucial, allowing you to verify AI results securely without exposing sensitive information or proprietary models. This means you get trustworthy AI verification while keeping data confidential.
https://github.com/Lagrange-Labs/deep-prove
🌟Mamba3
Mamba2 делала ставку на быстрое обучение. Ради этого механизм рекуррентных обновлений упрощали: матрицу переходов состояний свели к скаляру, умноженному на единичную матрицу.
Обучение ускорилось, но при декодировании GPU большую часть времени не считает, а гоняет данные между уровнями памяти. Архитектура оказалась с нюансом - вычислительные ядра простаивают.
С тех пор ландшафт изменился. RL с верифицируемыми наградами для кода и математики, агентные пайплайны - все это генерирует прорву токенов на инференсе. Команда Mamba3 задалась вопросом: как выглядела бы SSM-архитектура, если сделать ее с приоритетом на инференс, а не на обучение?
Так родились 3 главных изменения в ядре Mamba.
🟡Новая схема дискретизации.
SSM в базе - это обыкновенное дифференциальное уравнение, которое нужно перевести в дискретную рекуррентную формулу. Mamba1 и Mamba2 использовали комбинацию двух методов (ZOH и Эйлера), подобранную эмпирически.
В Mamba3 реализовали экспоненциально-трапецеидальный метод: вместо одной точки для аппроксимации интеграла берутся обе границы интервала с обучаемым коэффициентом смешивания. В результате рекуррентная формула неявно применяет свёртку к входу скрытого состояния, что делает динамику выразительнее без дополнительных компонентов.
🟡Комплекснозначная SSM.
Ранние модели семейства S4 работали с комплексными числами, но Mamba1 от них отказалась. Из-за этого модель не справляется даже с простейшими задачами отслеживания состояний (например, определением четности последовательности).
Решение нашли во вращении в двумерном пространстве: вместо комплексных вычислений авторы разложили переход на масштабирование и поворот, а затем применили фишку из RoPE - встроили вращения в матрицы через кумулятивную сумму углов.
Переписывать ядра для поддержки комплексной арифметики не пришлось. Модель решает задачи на чётность и другие бенчмарки, недоступные предыдущим версиям.
🟡Переход от SISO к MIMO.
В стандартной SSM каждый хэд содержит набор независимых систем (один вход - один выход). При декодировании арифметическая интенсивность составляет около 2,5 операций на байт при пороге вычислительной загруженности на H100 в районе 300.
Mamba3 расширяет матрицы, превращая внешние произведения в матричные умножения. Арифметическая интенсивность растет пропорционально. При этом размер скрытого состояния не увеличивается, а значит, латентность декодирования почти не меняется. Обучение, конечно, дорожает, но это сознательный компромисс.
Еще из архитектуры убрали короткую каузальную свёртку, присутствовавшую с первой Mamba - новая рекуррентная формула и смещения выполняют ту же функцию.
Добавили нормализацию BCNorm по аналогии с QKNorm в трансформерах, перешли на чередование SSM- и MLP-слоев.
Ядра написаны на Triton (prefill SISO), TileLang (prefill MIMO) и CuTe DSL (decode).
🟡Тесты
Mamba-3 SISO при 1,5B параметров показывает лучшую суммарную латентность prefill + decode на всех длинах последовательностей по сравнению с Mamba2, Gated DeltaNet и Llama-3.2-1B под vLLM на одном H100.
MIMO-вариант сопоставим по скорости с Mamba2, но заметно точнее. При анализе Парето-фронта Mamba-3 показывает тот же уровень качества при вдвое меньшем состоянии.
@ai_machinelearning_big_data
#AI#ML#LLM#Mamba3#TogetherAI
📌OVQA: прощай, KV-cache offloading.
В Zyphra придумали как усидеть на двух стульях сразу, когда хочется резиновый контекст, но под рукой нет тонны памяти.
То. что они предложили, называется Online Vector-Quantized Attention - это модификация векторного квантования, которая учит словарь думать на лету.
В классическом VQ ключи заменяются ближайшими центроидами из статичного словаря. Это бустит вычисления, но создает проблему: словарь обучен на одних данных, а во время генерации модель видит совсем другое распределение ключей. Ошибка квантования растет, внимание теряет точность и как итог: VQ начинает плавать.
Так вот, модификация в том, чтобы отказаться от статического словаря в пользу адаптивного к текущей последовательности: каждый новый токен обновляет только один центроид - тот, к которому ближе всего.
Это разреженное обновление работает как защита от катастрофического забывания: старая информация не вымывается новой волной токенов, а аккуратно перезаписывается по мере необходимости.
Плюс есть хард-лимит на размер состояния, после достижения которого объем памяти перестает расти, а вычисления становятся строго линейными.
🟡Результаты тестовых экспериментов
🟢Модель, обученная на 4К токенах, уверенно справлялась с контекстом до 64К без деградации качества;
🟢На внутриконтекстном поиске OVQ почти не отставала от полноценного самовнимания, потребляя при этом в 4 раза меньше памяти;
🟢На In-Context Learning VQ провалился, а OVQ вышла на уровень классического внимания, используя всего ~4К центроидов;
🟢Сравнения с линейными альтернативами (Mamba2 и дельта-сети) тоже в пользу OVQ: она стабильнее держит долгий контекст без просадок точности;
🟠В задачах Positional ICR OVQA работает чуть хуже, чем классическое внимание но все равно достойно.
Очень хочется надеяться, что OVQ - это предтеча настоящего непрерывного обучения, где в светлом будущем вместо бесконечно пухнущего KV-кэша появится компактная, но живая память, способная удерживать важные детали без потерь.
🟡Статья
🟡Arxiv
@ai_machinelearning_big_data
#AI#ML#LLM#OVQA#Zyphra
Кризис DRAM меняет рынок и подход к обучению современного ИИ.
✔️ Рынок захлестнул дефицит оперативной памяти и других накопителей: ИИ-гиганты выкупили огромные объёмы DRAM, HBM и NAND. Nvidia, по слухам, прекращает поставлять дистрибьюторам видеопамять в комплекте с GPU — теперь её нужно закупать отдельно. На текущий момент цены на SSD и оперативную память выросли на 50-100% по сравнению с началом года. Производители ноутбуков и смартфонов фиксируют задержки поставок, а комплект DDR5 на 64 ГБ уже стоит дороже PS5. 🤯
✔️ Мы спросили Гигачат, как кризис повлияет на развитие нейросетей и обучение моделей. ИИ-помощник формулирует так: "Дефицит памяти — это временный дисбаланс между взрывным ростом ИИ-индустрии и производственными мощностями, которые просто не успели масштабироваться под такой спрос. Высокая стоимость памяти заставляет компании переосмыслить подходы к обучению: вместо наращивания "железа напролом" фокус смещается на эффективные архитектуры и методы.". Подробнее — в видео.
@ai_machinelearning_big_data
#ai#llm#ml#ramcrisis#infrastructure
Lune AI Secures $500K Funding
Lune AI has successfully raised $500K in funding. The company specializes in developing accurate AI models specifically trained on technical documentation. More details can be found on their website: Lune AI.
#AI#Funding#TechDocumentation#Startup#Investment
❤️🔥Те, кто пишет “С др, здоровья” уже 10 лет подряд, точно оценят.
Яндекс Клавиатура выкатил фичу «Поздравить».
Умные подсказки от YandexGPT облегчают муки творчества — просто выберите стиль, добавьте имя и пару слов от себя.
И всё — можно отправлять! 🎉Адресат в шоке после многолетнего “С днюхой”.
👉 Установить Яндекс Клавиатуру можно в Google Play или App Store — ищите «Яндекс Клавиатура».
#ИИ#AI#Нейросети#YandexGPT
———
#Инструменты#Клавиатура
✍️ Подписывайтесь: @aiforproduct