Точки над ИИ

В Higgsfield появился вэйтлист на Veo 3.1 Sora 2 придется немного подвинуться. Что обещают? – Видео 1080p продолжительностью до 30 секунд (хотя ходят слухи про 1 минуту) – Улучшенная консистентность персонажей и сцен – Кинематографические пресеты, которые автоматически управляют движениями камеры, освещением и тональностью – Генерация нескольких кадров для коротких последовательностей в одном запросе – Улучшенное микширование звука и звуковых эффектов для более насыщенного и реалистичного звучания Вэйтлист тут. #videoGenerative@TochkiNadAI

Я тут продолжаю снимать свой космический сериал на Соре. (ссылки в конце поста) Хочу поделиться несколькими, как мне кажется, любопытными наблюдениями про нетехнечиские моменты, которые заметил за эту неделю с небольшим: 1. Во-первых я рад, что у меня появилось хобби, связанное с основной деятельностью. Классно, что можно одновременно заниматься творчеством, исследовать AI, изучать алгоритмы соц.сетей и просто развлекаться. Еще одно гилти-плэжа – смотреть метрики и анализировать подачу. 2. Со мной в сериале путешествует камео Риса. Мы живем в одном городе и не так давно познакомились лично, но оба заметили, что через бесконечный общий слоп и космический сериал появились новые совместные воспоминания, их реально много, хоть они и синтетические. Слоп сближает! Еще у нас появился отдельный новый чат на троих, где мы активно и много обсуждаем все вот это вот, что я пишу в этом посте. 3. В последние пару лет заметил, что больше стал стесняться быть "говорящей головой" в соц.сетях. Так вот Камео полностью снимает любые барьеры, я пощу, не стесняюсь что посмотрит кто-то из-знакомых, и даже наоборот репощу эти приключения в свой живой аккаунт. 4. Из не самых приятных моментов – когда сажусь генерить уставший под вечер – сильно погружаюсь в историю, все это вызывает сильные выбросы дофамина (эффект – "интересно, что там сейчас сгенерится" + быстрый результат с минимальными усилиями + свое лицо в кадре), в результате на уставший мозг вываливается много эмоций, это влияет на эмоциональное самочувствие и сон. Есть еще ряд поинтов, но не буду нагружать пост, и так уже полотно. Если вам интересно следить за нашими приключениями, вот ссылочки, выбирайте удобные платформы: Inst,TikTok,YouTube,Sora.

Я сегодня говорю другу: Можно поделать нелепых рилсов, поснимать в высоком разрешении и добавить водяные знаки Соры. А он говорит: Так такой сервис уже есть! Это забавно, конечно. Обожаю такой метамодерн. Вот ссылка. Только у меня водяные знаки получились гигантские в примере, видимо надо вертикальные видео грузить.

Кто тестил Predictive Video в приложении Pika? На волне популярности камео в Sora, ребята из Pika напомнили, что у них в аппке есть такой вот вайб-рилсининг. Вы пишете короткий промпт/идею, а остальное делает модель: пишет сценарий, ставит камеру, добавляет звук. Я вот не тестил. Интересно, что у вас получалось. #videoGenerative@TochkiNadAI

Визуализация сегментации и вообще CV – частенько бывают очень красивым зрелищем Эта называется RF-DETR Segmentation, и это новая SOTA. Она обеспечивает повышение точности +8 мАп по сравнению с лучшими моделями YOLO при аналогичной скорости и работает в 10–100 раз быстрее, чем предыдущие модели сегментации на основе трансформаторов с сопоставимой точностью. Есть код. #computerVision@TochkiNadAI

HuMo Есть такая open-source модель от ByteDance, умеет управлять живыми персонажами сразу по трем каналам: текст, изображение и аудио. И синхронно контролировать позу, эмоции, содержание и лип-синк. На выходе ролики до 1080p при 30/60 fps с устойчивым обликом героя в разных ракурсах и сценах; можно генерировать как портреты, так и динамичные сюжеты с несколькими людьми. Липсинк и мимика идут вровень с озвучкой. Подходит для говорящих голов, рекламы и обучения, коротких креативов и танцевальных сцен, сейчас демо ограничены ~8 секундами, но обещают расширение. Репозиторий открыт на Hugging Face под Apache 2.0, есть готовые workflow для ComfyUI; внутри визуальный генератор на базе Wan2.1 и аудио-энкодер на Whisper, крупная конфигурация до 17B параметров. Если хочется управляемых персонажей без ручной анимации, то самое время попробовать. HG #videoGenerative@TochkiNadAI

$440 000 за отчёт из ChatGPT В этой истории прекрасно всё. Австралийское правительство недавно заказало у консалтингового гиганта Deloitte аудит IT-системы, которая выписывает штрафы получателям пособий. В результате заказчик получил отчёт, написанный ChatGPT. И не просто написанный, а с несуществующими академическими ссылками, выдуманными цитатами и судьёй по имени «Справедливость Дэвис» (на самом деле её зовут Дженнифер Дэвис). Deloitte официально признали, что использовали GPT-4o якобы для устранения пробелов в документации — иначе говоря, чтобы дописать текст. Теперь фирма возвращает гонорар в $440 000. Сенатор Австралии гениально подвела выводы этой истории: «У Deloitte проблемы с человеческим интеллектом. Возможно, им стоит просто оформить подписку на ChatGPT.» Самое ироничное, что отчёт должен был проверить, не перегибает ли государство с автоматизацией. В итоге именно автоматизация подвела дорогих консультантов. В общем, прежде чем разбираться с искусственным интеллектом, нам всё-таки стоит разобраться с человеческим.

Карта всех жанров музыки Everynoise проект Гленна Макдональда, бывшего специалиста по метаданным в Spotify: огромная визуальная карта из 6000+ жанров от мейнстрима до микро-сцен по странам и городам. Кликаете по жанру и сразу слышите 30-секундный сэмпл, рядом актуальные плейлисты в трех режимах. Навигация интуитивная: вверх электроннее, вниз органичнее, влево плотнее, вправо воздушнее; можно провалиться до карты артистов жанра, их треков и связанной жанровой сети. Поиск работает не только по жанрам, но и по городам, странам, лейблам и даже по гендеру артистов. Работает без нейросетей, на агрегированных данных Spotify и алгоритмах классификации и визуализации. Проект сделан по приколу, чтобы реально услышать все миры музыки; многие жанровые ярлыки вроде hyperpop или escape room благодаря Макдональду стали мемами. Сайт не обновляется с декабря 2023 после его увольнения из Spotify, но база и сам сервис по-прежнему рабочие. Зайдите, ткните в Neo-pagan или Finnish jazz, откройте Edge и готово музыкальное путешествие на вечер. Путешествуем тут.

А вот несколько красивых шотов из модели Ray 3 от Luma Особо не видно в инфополе ничего интересного про Ray, но зато у нее есть поддержка EXR. Это такой профессиональный формат изображений с высоким динамическим диапазоном, позволяющий хранить множество слоев и точные цвета для кино и 3D-графики. #videoGenerative@TochkiNadAI

Еще одна находка для тех, кто пилит длинный контент под ютуб и другие площадки Gling AI сокращает время на монтаж. Он сам вырезает тишину, неудачные дубли и слова-паразиты, расставляет прыжковые склейки, синхронизирует мультикам по звуку и монтирует по тексту расшифровки, правите сценарий, а не таймлайн. Плюс автосубтитры, умный зум и автофрейм, чистка аудио на уровне профредактора, генерация названий и глав для SEO и экспорт сразу в MP4, Premiere/DaVinci/Final Cut для финальной полировки. Тестим тут. #videoEditing@TochkiNadAI

2 полезные ссылки от OpenAI, связанные между собой только тем, что обе они про промптинг Но обе стоят того, чтобы их полистать. 1. 100 полезных промптов. Вообще позиционируют для студентов, но там много полезного не только про учебу, но и про карьеру и про личные дела. 2. Гайд по промптингу на Sora 2. Актуалочка, с которой стоит ознакомиться. #prompt@TochkiNadAI

Где генерить в SORA 2? 1. Higgsfield – анлим на генерации в течение недели в SORA 2, а за Pro придется платить. 2. Krea – до 13 октября анлим на Сору в подписках Pro и Max. 3. Fal – 0.3$ за 720p и 0.5$ за 1080p. Но если вы хотите создавать видео с участием своего или чужих камео – то вам только в официальную Sora (app / web).