Assuna

Кто то в notebooklm делает подкасты, а Фроде сразу запилил песни

Когда я был маленький, а бабуля пекла пирожки, я из остатков теста всегда делал колобки. Хорошее решение, как говорят Тризовцы, "пирожки печет" - в смысле еще что то полезное делает, помимо запланированного. Пек я тут пирожок - писал текст для Паши Л. ну и собрал под это проект, положил туда текстики правильные для контекста и проч. Но т.к. печка была горячая, контексты вроде норм (включая еще не остывший промпт который понижает слопность текста), то закинул туда пару мыслей про зону ближайшего развития (по Выготскому) и гипотезы обратного процесса (деградации через делегирование). ОБычно такие схемы выглядят как внутрь-наружу (интерио-экстерио) - например у Энгельбарта. В культурно-историческом подходе может существовать посредник - Другой, который организует появление знаков. В общем попросил модельку пока печка не остыла испечь колобка в виде модели описывающей ко-эволюцию через модель ЗБР - ЗБДеградации. Т..к в печке были университеты, остатки каши про телесность, остатки чего то там с Щедровицким связано - все это машинка творчески обыграла. Универы я отрезал специальным фильтром (т.к. слишком уж не про то), но в итоге колобок получился интересным. "работа абзаца" - это скаффолд, леса строительные. Так машинка лучше держит контекст, если сама себе напоминает контексты. Не везде удалил. В общем, интересный колобок испекся https://docs.google.com/document/d/1339sBijLxRTOIBrGD5H2YPB8DeRAKEX6yCaY9zabbqo/edit?tab=t.nlydjq9pwpco

Apple выпустила необычную ИИ-модель для разработчиков Apple тихо выложила на Hugging Face новую модель DiffuCoder-7B-cpGRPO с интересной особенностью. Вместо классической генерации кода слева направо, она может писать код в любом порядке и улучшать несколько блоков одновременно, что делает генерацию быстрее. Модель основана на диффузионном подходе (как в Stable Diffusion для картинок) и построена поверх Qwen2.5-7B от Alibaba. Показала прирост 4.4% на популярных бенчмарках моделей для программирования. Особенность: регулируя температуру, можно менять порядок генерации токенов - от строгого последовательного до гибкого хаотичного. #Apple#Coding#Diffusion ------ @tsingular

Конечно же, текстовые диффузионные модели стартовали с кодинга. Ибо код порождает код, слава бутстреппингу. Что на втором месте, интересно, material science или финагсы?

Ха, известный ИИ-разработчик Kye Gomez (автор фреймворка Swarms) по крупицам собрал разрозненные научные статьи и выложил в опенсорс OpenMythos - теоретическую реконструкцию архитектуры Claude Mythos. Репозиторий за пару дней собрал 3000+ звезд ⭐️ В чем магия? Это не обычная нейросеть. Все привычные для нас LLM состоят из «слоев» (например, 100 слоев). Запрос проходит через них строго один раз — от первого до сотого. А вот Mythos — это «петлевой» трансформер (Recurrent-Depth Transformer). В нем слоев может быть всего 10, но данные крутятся внутри них в цикле🚴‍♂️ 🤯 Что эта архитектура дает на практике? 1️⃣ Мышление «в тишине» Обычным моделям нужно расписывать алгоритм текстом (Chain-of-Thought), чтобы не сбиться. Петлевой трансформер размышляет внутри себя, в математическом пространстве. Никаких промежуточных токенов — только глубокое погружение в задачу за один проход. 2️⃣ Динамический интеллект Вы сами задаете глубину рассуждений. Задали простой вопрос? Модель сделала 2 петли и мгновенно выдала ответ. Попросили написать сложную архитектуру приложения? Подкрутили ползунок до 20 петель, и модель «зависла» в глубоких размышлениях, чтобы выдать идеальный результат. 3️⃣ Магия сжатия Вы получаете качество рассуждений огромной 100-слойной модели, но весит она как крошечная 10-слойная. Больше не нужно раздувать размеры нейросетей на сотни гигабайт, чтобы заставить их думать лучше. Прямо сейчас в репозитории OpenMythos уже лежит готовый код архитектуры, и сообщество включилось в активный дебаг и тренировку первых открытых весов. Как только обучение завершится (пре-трейн скрипты обновляются буквально каждые полчаса), мы получим возможность запускать локально крошечные модели с этой "цикличной" архитектурой (но это не точно😊) 🔗 Ссылка на GitHub: https://github.com/kyegomez/OpenMythos обсуждают тут https://x.com/yasinaktimur/status/2045821430458130702 _______ Источник | #Futuris

Петлевой, говорят, трансформер, говорят.

Маленький случайно обнаруженный лайфхак для работы с ГПТ в обычном режиме веб интерфейса. Там в проектах есть лимит на файлы. 25 штук. Больше не положить. Можно объединять (т.к. есть лимит и на размер каждого файла, но он с текстовыми документами не выбирается). Лайфхак - если положить туда зип папку, он показывает, что папка не доступна, но по факту прекрасно читает в ней файлы и работает с ними. Я положил 35 файлов - попросил дать списки в подпапках, открыть файл и прочитать. Работает. Есть минус, который он же плюс - файлы в зип папках не индексируются внутренним поисковиком, и, видимо, не векторизируются под RAG использование. Это значит что если там что то ценное что модель должна найти по контексту запроса - не найдет. Но это и прекрасно, в общем то.

Делал к слайдам для презентации поиск контртезисов к одной типовой презентации про "хороших людей, плохие машины". Просто попросил проанализировать основные тезисы и подсыкать под них контраргументы. Решил эти слайды не делать, чтобы времени на очевидное не тратить, но материалы остались. СОбственно небольшой репорт по поиску и два куска библиографии к нему

https://docs.google.com/document/d/1idSVlIVWf0X4CAJVIgfydlUx-THFNZP0dNrZ9uAEzDU/edit?usp=sharing Небольшая справка (генерация) по Майклу Левину. Если кто не знает в чем там крутость - тут отчасти на нескольких страницах можно почитать. Плюс достройка "сделай следующий шаг"

Codex примерно вот так собирает карты в Miro. Скачать кодекс, авторизовать, получить ключ к миро (бесплатному) и объяснить ему что надо сделать и получить результат (через три - четыре итерации с ошибками) на основе файла в котором не очень формально описано что надо нарисовать - час где то. Где полчаса это инсталляция и настройка и полчаса обсуждение того что нужно. А дальше все появляется магически. И это не то же самое что "нарисуй мне изображение" в ГПТ - когда в результате полная фигня. Тут по факту можно сколь угодно сложные блок--схемы в любой нотации делать. Codex - магия.