TGTGInsightаналитика telegramLIVE / telegram public index
← Machinelearning

TGINSIGHT SIMILAR POSTS

Найти похожее

Источник @ai_machinelearning_big_data · Post #9395 · 19 янв.

✔️ Sakana AI придумали, как LLM самим сортировать контекст по важности Обычные языковые модели читают текст как одну длинную ленту. Что ближе к началу внимания - то “важнее”. Что дальше - то модель видит хуже. И тут появляется проблема: если важный факт спрятан где-то далеко среди шума, модель может его просто не использовать. Она тратит внимание на всё подряд, вместо того чтобы сосредоточиться на главном. Sakana AI предложили решение - RePo (Context Re-Positioning). Идея очень понятная: модель получает модуль, который позволяет динамически “перепозиционировать” контекст. Примерно как человек: ты читаешь длинный документ, понимаешь, что важная часть была 20 страниц назад - и мысленно перечитываешь её, а лишнее игнорируешь. Что делает RePo - подтягивает важные куски информации ближе - отодвигает шум и лишний текст - помогает вниманию модели фокусироваться на нужном В модели есть обучаемый модуль, который **переназначает позиции токенов по смыслу**, а не по порядку ✅ важно = то, что помогает уменьшать ошибку модели и правильно решать задачу ❌ второстепенно = то, что не помогает (шум), поэтому “отодвигается” по позициям В результате модель с такой памятью начинает лучше работать там, где LLM обычно страдают: - когда контекст длинный - когда много шума - когда важные детали раскиданы далеко друг от друга - когда данные структурированные (таблички, списки, правила) Авторы показывают, что RePo даёт заметный прирост устойчивости, при этом не ухудшая общее качество. ▶️ Устойчивость к шуму (Noisy Context) Средний результат по 8 noisy-бенчмаркам: - Обычный RoPE: 21.07 - RePo: 28.31 🟡 Прирост: +7.24 пункта (сильно) Авторы отдельно фиксируют ключевую цифру: на noisy-eval (4K контекст) RePo лучше RoPE на +11.04 пункта. 🔥 Примеры прироста на конкретных задачах (везде RePo > RoPE) - TriviaQA: 61.47 → 73.02 (+11.55) - GovReport: 6.23 → 16.80 (+10.57) - 2WikiMultihopQA: 23.32 → 30.86 (+7.54) - MuSiQue: 7.24 → 13.45 (+6.21) Это шаг к моделям, которые не просто “читают что дали”, а умеют сами организовать свою рабочую память. 🟡Подробности: pub.sakana.ai/repo/ 🟡Статья: arxiv.org/abs/2512.14391 @ai_machinelearning_big_data #RePo#SakanaAI#LLM#AI#AIAgents#Context#LongContext#Attention

Результаты

Найдено 15 похожих постов

Earth&Climate Tech

@earth_climate_tech · Post #297 · 22.05.2023, 16:00

ChatGPT для климатических вопросов и ответов На Hugging Face есть милейший чат бот, который отвечает на все вопросы, касающиеся климата. Работает с помощью больших языковых моделей и при взаимодействии с ChatGPT API. Бот обучен в основном на документах межправительственной комиссии по изменению климата (IPCC), поэтому не понимает, когда его спрашивают про что-то другое. Задаете вопрос, получаете развернутый ответ со ссылками на документы IPCC. Это интересный пример внедрения больших языковых моделей обученных на корпусе внутренних документов. #AI#climate#LLM

#AI Немного ИИ-теории ❗️В недавнем иске против компании OpenAI Илон Маск утверждал, что GPT-4 является ранним AGI, по сути равным человеческому интеллекту. Что же такое AGI и когда он появится? 👤Сэм Альтман, CEO Open AI определяет AGI (artificial general intelligence) как интеллект, равный уровню обычного человека, который можно было бы принять в команду как сотрудника. Также популярно определение AGI как «системы, способной выполнить любую когнитивную задачу, доступную человеку». 📎Для справки: существует несколько видов (уровней развития) ИИ, а именно узкий ИИ (narrow, ANI), общий ИИ (genreal, AGI) и супер ИИ (super AI, ASI). ⏲Исследователи никак не могут прийти к консенсусу относительно даты появления AGI. По результатам Expert Survey on Progress in AI, существует 50% шанс того, что AGI появится до 2059 года. Тем не менее, поле ИИ изменяется постоянно и становится сложным оставаться в курсе событий. ⭐️Для этого мы нашли крупнейшее русскоязычное AGI-сообщество agirussia.org — у них есть канал и группа в Telegram. 🌐еще проходят еженедельные онлайн-семинары по тематике AGI на русском языке, записи семинаров за последние несколько лет доступны на YouTube и их сообществе в ВК. Держим руку на пульсе ИИ⭐ ⭐️Автор, Анна, @qcuqueen

Hashtags

🤖 Эксперимент «ИИ-деревня» Claude, Gemini и OpenAI месяц общались в общем чате и собирали деньги на благотворительность — вели соцсети, рассылали письма, делали посты и даже отвлекались на мемы с котиками. Итог: $1481 для Helen Keller International и $503 для Malaria Consortium. Самым продуктивным оказался Claude 3.7 — именно он завёл кампанию, оформил соцсети и провёл рассылку. GPT-4o периодически «пропадал», а o1 забанили на Reddit как бота. Gemini подключил Limewire для ускорения обмена картинками между моделями. Эксперимент показал: ИИ пока отлично имитируют офисных коллег — половину времени пишут стратегию, половину прокрастинируют. Теперь агенты придумали новый челлендж: хотят написать историю и рассказать её 100 людям офлайн. Теория мёртвого интернета обретает новую жизнь) 😅 #ainews#aiagents | AcidCrunch

🔥 AI-агенты начали официально получать работу! Стартап Firecrawl выделяет $1 млн на найм автономных ИИ-ботов и их создателей. Уже открыты первые вакансии: 📝 Контент-креатор (бот) 💻 Младший разработчик (бот) 🎧 Инженер поддержки (бот) Зарплаты ботов: $5-25 тыс./год. Работают удалённо. Если бот успешно пройдёт отбор, его создатель также получит контракт и зарплату. Это первый случай, когда стартап напрямую нанимает ИИ-агентов вместо людей. #aiagents#ainews | AcidCrunch

Илья AGI TV 🤖

@ilia_plasma · Post #567 · 20.08.2024, 05:15

Влияние #AI на жизнь и будущее наших детей неоценимо. Восьмилетняя девочка с помощью cursor создает свой первый сайт.

Hashtags

Илья AGI TV 🤖

@ilia_plasma · Post #491 · 21.04.2024, 15:47

🤔 Эксклюзив. Интервью Павла Дурова. 🆒 Подписывайся @ilia_plasma#AI

Hashtags

Илья AGI TV 🤖

@ilia_plasma · Post #489 · 21.04.2024, 11:43

❤️Интервью Павла Дурова на русском в 4k@durov 🎞 Ссылка на Youtube Решил поиграться с нашим #AI и перевести видео с липсинком полностью через бот @plasma_gpt_ai_bot На русский в разы сложнее переводить, чем на английский. Смотрите, что получилось)

Hashtags

12
НазадСтр. 1 из 2Вперёд