TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #620 · 30.10

История из жизни. В начальной школе у нас проводили конкурс моделей из Лего, участвовать мог каждый, у кого был этот конструктор. Требовалось заявить одну любую модель. Я тогда был под впечатлением от просмотра Фантомаса — той серии, где Фантомас улетает на автомобиле с крыльями, поэтому потратил много дней, чтобы собрать такой автомобиль. С виду совершенно обычный, но внутри был спрятан хитрый механизм на рычагах. Нужно было нажать на определённое место на крыше, чтобы из боков выдвинулись крылья. Я очень гордился этой поделкой и с радостью принёс её на конкурс, будучи уверенным, что выиграю. — Нет, — сказали мне на месте, — с готовыми моделями нельзя. Вы должны были принести конструктор и собирать модель для конкурса на месте. Так что собирай что-то другое. Это была катастрофа. У меня не было с собой всего конструктора, только те детали, которые использовались в автомобиле Фантомаса. Совсем небольшая часть весьма специфических деталей, из которых не особенно то соберёшь что-то принципиально другое. Я запаниковал. Я видел, что некоторые участники принесли с собой инструкции и собирают коробочные наборы — это было запрещено, но следили слабо, а пожилая учительница начальных классов, скорее всего, не особо понимала, что это у них за книжечки цветные такие. Ну собирают же дети что-то. Я начал по памяти воспроизводить свой коробочный набор LEGO 6550, многие детали которого были в машине Фантомаса, но быстро понял, что, во-первых, деталей всё-таки не особо хватает, а, во-вторых, не хотелось быть нарушителем и представлять не свою модель. К этому моменту я перестал нервничать и успокоился. Подумав, на что похож корпус вот этой машинки, я остановился на такой идее: пусть это будет голова динозавра. Добавил тело, хвост, лапы, челюсти. Получилось что-то вроде тирекса-робота, похожего на трансформеров-динозавров из мультика. Никаких интересных механизмов не было, вроде чуть-чуть двигались лапы, кажется даже челюсть не закрывалась. Мы расставили наши модельки на общем столе. Пригласили комиссию из учителей и... сразу отвели их к столу оценивать. Не дали презентовать модель или как-то показать её в действии, не дали ничего о ней рассказать, мы вообще стояли в стороне и не видели, что там учителя делают. Практически все модельки были автомобилями. Если бы мне разрешили оставить автомобиль Фантомаса, то для жюри это был бы просто обычный автомобиль, они никак не узнали бы, что там внутри механизм с крыльями. Зато динозавр был единственным и привлекал своим внешним видом. Выиграли в итоге двое: я и ещё один парень с космическим кораблём (тоже единственным). В награду получили по книжке-раскраске с автомобилями :) Мораль, думаю, вывести совсем не сложно: 1. Иногда проблемы это действительно новые возможности. 2. Нежелание мухлевать и сокращать путь сделает твои результаты более интересными, чем у других. 3. Всегда носи с собой все детали своего Lego :) #life

Hashtags

Резултати

Намерени 3 подобни публикации

Търсене: #longcontext

当前筛选 #longcontext清除筛选
Machinelearning

@ai_machinelearning_big_data · Post #8519 · 11.09.2025 г., 18:21

🚀 Релиз:Qwen3-Next-80B-A3B - эффективная модель заточенная на работа работу с очень длинным контекстом! 🔹80B параметров, но активируется только 3B на токен → тренировка и инференс 10x дешевле и быстрее, чем у Qwen3-32B (особенно при 32K+ контексте). 🔹Гибридная архитектура: Gated DeltaNet + Gated Attention → сочетает скорость и точность. 🔹Ultra-sparse MoE: 512 экспертов, маршрутизируется 10 + 1 общий. 🔹Multi-Token Prediction → ускоренное speculative decoding. 🔹 По производительности обходит Qwen3-32B и приближается к Qwen3-235B в рассуждениях и long-context задачах. 🟢Qwen3-Next-80B-A3B-Instruct показатели почти на уровне 235B flagship. 🟢Qwen3-Next-80B-A3B-Thinking превосходит Gemini-2.5-Flash-Thinking. ▪Попробовать: https://chat.qwen.ai ▪Анонс: https://qwen.ai/blog?id=4074cca80393150c248e508aa62983f9cb7d27cd&from=research.latest-advancements-list ▪ HuggingFace: https://huggingface.co/collections/Qwen/qwen3-next-68c25fd6838e585db8eeea9d ▪ ModelScope: https://modelscope.cn/collections/Qwen3-Next-c314f23bd0264a ▪Kaggle: https://kaggle.com/models/qwen-lm/qwen3-next-80b ▪ Alibaba Cloud API: https://alibabacloud.com/help/en/model-studio/models#c5414da58bjgj @ai_machinelearning_big_data #AI#LLM#Qwen#DeepLearning#MoE#EfficientModels#LongContext#Reasonin

Machinelearning

@ai_machinelearning_big_data · Post #9395 · 19.01.2026 г., 07:10

✔️ Sakana AI придумали, как LLM самим сортировать контекст по важности Обычные языковые модели читают текст как одну длинную ленту. Что ближе к началу внимания - то “важнее”. Что дальше - то модель видит хуже. И тут появляется проблема: если важный факт спрятан где-то далеко среди шума, модель может его просто не использовать. Она тратит внимание на всё подряд, вместо того чтобы сосредоточиться на главном. Sakana AI предложили решение - RePo (Context Re-Positioning). Идея очень понятная: модель получает модуль, который позволяет динамически “перепозиционировать” контекст. Примерно как человек: ты читаешь длинный документ, понимаешь, что важная часть была 20 страниц назад - и мысленно перечитываешь её, а лишнее игнорируешь. Что делает RePo - подтягивает важные куски информации ближе - отодвигает шум и лишний текст - помогает вниманию модели фокусироваться на нужном В модели есть обучаемый модуль, который **переназначает позиции токенов по смыслу**, а не по порядку ✅ важно = то, что помогает уменьшать ошибку модели и правильно решать задачу ❌ второстепенно = то, что не помогает (шум), поэтому “отодвигается” по позициям В результате модель с такой памятью начинает лучше работать там, где LLM обычно страдают: - когда контекст длинный - когда много шума - когда важные детали раскиданы далеко друг от друга - когда данные структурированные (таблички, списки, правила) Авторы показывают, что RePo даёт заметный прирост устойчивости, при этом не ухудшая общее качество. ▶️ Устойчивость к шуму (Noisy Context) Средний результат по 8 noisy-бенчмаркам: - Обычный RoPE: 21.07 - RePo: 28.31 🟡 Прирост: +7.24 пункта (сильно) Авторы отдельно фиксируют ключевую цифру: на noisy-eval (4K контекст) RePo лучше RoPE на +11.04 пункта. 🔥 Примеры прироста на конкретных задачах (везде RePo > RoPE) - TriviaQA: 61.47 → 73.02 (+11.55) - GovReport: 6.23 → 16.80 (+10.57) - 2WikiMultihopQA: 23.32 → 30.86 (+7.54) - MuSiQue: 7.24 → 13.45 (+6.21) Это шаг к моделям, которые не просто “читают что дали”, а умеют сами организовать свою рабочую память. 🟡Подробности: pub.sakana.ai/repo/ 🟡Статья: arxiv.org/abs/2512.14391 @ai_machinelearning_big_data #RePo#SakanaAI#LLM#AI#AIAgents#Context#LongContext#Attention

Neuron | OnlyFAST

@neuron_skills · Post #1643 · 11.07.2025 г., 14:48

📊 AI-автоматизация на страже новостей! За период 07.07.2025 – 10.07.2025 наша система автоматически проанализировала для вас: 191 топовый сабреддит 449 Twitter-аккаунтов 29 Discord-серверов (226 каналов, 12 761 сообщений) ⏳ Экономия вашего времени: Если бы вы читали это вручную со скоростью 200 слов в минуту, ушло бы целых 806 минут — а так, всё самое важное уже собрано в одном месте! tags: companies #xai#perplexityai#langchain#cursor#cline models #grok4#grok4heavy#claude4opus topics #modelreleases#benchmarking#longcontext#modelpricing#modelintegration#voice#performance#scaling#gpuoptimization people’s #elonmusk#aravsrinivas#igorbabuschkin#yuchenj_uw