Точки над ИИ

Сегодня в подборке AI-инструментов 3 бесплатных сервиса по работе с научной литературой, исследованиями и статьями: Consensus — это целая поисковая система на базе AI, которая помогает быстро извлекать результаты научных исследований. В результатах все по делу, никакой рекламы и сразу со ссылками на публикации. SciSpace Copilot — хром-расширение, призванное помогать понимать научную литературу, предоставляя пояснения к тексту, математическим уравнениям и таблицам, встречающимся в исследовательских работах, технических блогах и отчетах. Semantic Scholar — инструмент для исследования научной литературы, дающий доступ к более чем 221 миллионам статей из разных областей науки. Удобный поиск, фильтры, ридер и есть API. На какую тему хотите следующую подборку? #research

Денис собрал список нестандартных способов использования LLM от реддит-пользователей. Смотрим: https://t.me/denissexy/8880

Команда Runway Research представила Act-One Основная идея инструмента — это создание редактора, который сможет решать сложные видеозадачи. Название немного намекает на кино и театр. В отличие от простых моделей, Act-One обладает способностью понимать более контекстные и многоуровневые запросы. Сейчас акцент сделан на работу с персонажами. Скоро можно будет создавать качественные ролики на основе видео-ту-видео для озвучивания и отработки движений любых героев.

Тезисно: — Anthropic представили новую возможность для публичного тестирования: использование компьютера (уже доступно в API). Разработчики могут давать Claude использовать компьютер так, как это делают люди — глядя на экран, перемещая курсор, нажимая кнопки и печатая текст. — Claude 3.5 Sonnet — первая передовая модель, предлагающая использование компьютера в публичной бета-версии (ну, из коробки да, но для других моделей это уж было года два...на GitHub. А тут они прям уверены!) — этими возможности уже тестируют Asana, Canva, Cognition (которые Devin делали), DoorDash, Replit, и The Browser Company (это браузер Arc, на котором я сижу; они делают большую ставку на AI в браузере для выполнения действий вместо вас) — The Browser Company отметили, что при использовании модели для автоматизации веб-задач Claude 3.5 Sonnet превзошла все модели, которые они тестировали до этого (но без деталей. Ждём обновление браузера? 🙂) — новая модель сильно прокачалась в кодинге. На бенчмарке по внесению изменений в код на уровне целого большого репозитория (десятки тысяч строк кода) SWE-bench Verified качество выросло с 33.6% до 49% — это если сравнивать старый Sonnet и новый с использованием SWE-Agent (открытый фреймкорк из Berkley). Но были и другие решения, которые заточены именно на улучшение оценки, но недоступны нам — они выдавали 45.2%. Они, наверное, пробьют 55% просто через замену модели. — Haiku (младшая версия, дешёвая) получает 40.6% на этом бенчмарке, что лучше старого Sonnet 3.5. Видно, что Anthropic вложились в ИИ-агентов и/или reasoning Что это за "использование компьютера"? Claude транслирует ваши инструкции вроде «возьми данные с моего компьютера и из Интернета для заполнения вот этой формы и пройдись по всем полям») в компьютерные команды (прочитать таблицу на экране; переместить курсор, чтобы открыть веб-браузер; перейти на соответствующие веб-страницы; заполнить форму данными с этих страниц и т. д.) Пока работает с достаточно базовыми командами и на разных бенчмарках вроде OSWorld выдаёт всего 22% (прошлый лучший результат был 7.8%, если использовать только скриншоты экрана, без трансляции в специльную форму для слабовидящих). Однако компания ожидает быстрых улучшений в ближайшем будущем через сбор обратной связи от разработчиков. Тут они сильно обошли OpenAI и других — как мы знаем, данные это новая нефть, и каждый день отставания других игроков приносит ценность. Очень ждём, что ответят OpenAI.

Новая модель от Anthropic... 😍 но не Claude 3.5 Opus 🥺 Встречаем Claude 3.5 Haiku, младшую и дешевую версию. Однако доступная уже полгода Sonnet получила обновление, и её прокачали по всем фронтам — ОСОБЕННО ПО АГЕНТСКИМ. Что? Да, Anthropic утверждают, что это первая модель, для которой они предлагают вам доверить её управление вашим компьютером. (по сути приложение как у OpenAI, где модель получает скриншот вашего экрана, только ещё и сама кликает. Детали будут в следующем посте) Новость

Просто полюбоваться. Симпатичные кадры итераций работы над CGI-роликом с использованием AI в пайплайне. Автор.

Нашел AI-сервис, который решает споры 😎 Суть: пишете в строку мнение / гипотезу и ждете, пока языковая модель через несколько итераций придет к итоговым выводам. Не всегда стоит рассматривать сервис, как решение, скорее лучше, как третью сторону. И да, он не всегда находит ответ. Вот на скринах к посту мой тест на нашем недавнем споре с другом. ИИ тоже в замешательстве, но ход мысли был вполне логичный. Потестить тут. #fun

🕸 Disney создала АI-пауков, для воссоздания реальной паутины в своих мультфильмах Данная технология была запущена для мультфильма Toy Story 4 и маленькие красные точки, это и есть AI-пауки, если паутина требовала взаимодействия с персонажами, ее создавали в ручную Как по мне, использование AI в VR разработке может в разы увеличить оживленность мира, а это один из самых важных параметров в виртуальной реальности (например: движение листьев, воды, NPC) Сама технология разработана в студии Pixar, техническим директором Хосуком Чангом и на мой взгляд AI в текущее время должен внедрятся во все сферы деятельности, чтобы сделать продукты по-настоящему иновационными Как вам такое нововведение в процессе создания мультфильмов? А как еще AI может улучшить погружение в виртуальную реальность? #сашанасвязи

Мне очень нравится, когда креаторы, создавая AI-контент, вкладываются идеями, а не только тестируют функционал и оттачивают качество. Загляните в совсем свежий авторский канал к Саше. Он креативный директор ведущего диджитал-агентства России, и по совместительству тестировщик всех известных генеративных моделей по работе с видео. В канале можно и вдохновиться и посмеяться, найти полезные промпты и рекомендации по работе с Runway, Kling, Minimax, Luma и другими моделями. Подпишитесь на Mulumbator Ai!

Удаляем бэкграунд из видео Сервис помогает качественно удалить фон в ролике с участием живого персонажа / актера, и поставить хромакей с возможностью моментального добавления другого фона. #videoEditing

Для всех, кто до сих пор считает, что один человек при помощи AI не сможет закрывать задачи целой видео-продакшен команды. Посмотрите свежий пример коммерческой рекламы содовой и представьте, что будет через полгода, год, два года? Автор ролика использовал Midjourney для создания чистых белых банок, на которые он фотошопил реальные дизайны. Также использовал Magnific AI Relight для создания кучи совпадающих изображений для последовательности монтажа. Анимировал кадры в Luma AI и Runway, а затем отредактировал их в AfterEffects и Premiere. Что касается саундтрека, он нашел трек, который ему понравился на Epidemic Sound. Но музыка была недостаточно энергичной, поэтому он сделал ремикс на более коммерческую мелодию и добавил слова «Are you ready to go?» в Udio. Также он использовал ElevenLabs для звуковых эффектов. Ваше мнение?🥸

А вы знали, что у Suno есть не только веб-версия? Вот приложение для iOS, но главная новость – теперь вы можете генерить песни из ваших видео и фото. Это работает так, что модель сама интерпретирует визуал в текст и жанр, основываясь на анализе событий в видео или на фотографии. Пойдемте тестировать!