Точки над ИИ

Очень люблю в проектах с использованием графики, в частности, в AR/VR, когда классно упаковывают ткани и свет. По этой же причине люблю схожие AI-проекты. Вот как раз один из таких примеров – работа Vincent Smadja, делюсь с вами для вдохновения.

Только на днях говорил другу: – "почему до сих пор никто из крупных игроков по генеративным видео-моделям не прикручивает генерацию звука с простым редактором? Это же на поверхности и не самая сложная задача". А он мне такой: – "подожди немного". И вот вчера вышла Meta Movie Gen и там можно получать результат сразу с аудио (окружение и саундтреки). Помимо этого есть редактирование областей ролика и загрузка портретов (собственных фото для интеграции вас в видео). Наблюдаем дальше!

Использование GaussianSplats для Virtual Production Автор использует сцены, отсканированные с помощью Scaniverse от Niantic, а затем интерактивно настраивает хромакей, просто нажимая на цвета, которые нужно убрать.

Немножко погрузимся в хип-хоп и эмо хип-хоп Два любительских AI клипа: первый – работа Дениса Семенова на трек Лил Пипа – toxic city; второй – работа братьев Дор, клип Снуп-Дога (я так и не понял, стало ли видео официальным).

Сегодня Pika Labs представили новую версию видео-модели, Pika 1.5. Оказалось что она классно умеет в реализм. К концу года еще обещали Sora в открытый доступ, ух что будет.

OpenAI представила Realtime API Разработчики теперь могут встраивать в свои приложения быстрый speech-to-speech, как в последнем обновлении ChatGPT (войс мод). Realtime API использует как текстовые, так и аудиотокены. Текстовые токены ввода стоят $5 за 1 млн и $20 за 1 млн выходных токенов. Аудиоввод стоит $100 за 1 млн токенов, а вывод — $200 за 1 млн токенов. Это примерно соответствует $0,06 за минуту аудиоввода и $0,24 за минуту аудиовывода.

На просторах продуктханта нашелся вот такой планировщик задач с AI BeforeSunset AI настраивает ваш график с помощью интеллектуального планирования, помогая вам планировать не в одиночку, а с ИИшкой. Он оптимизирует расписание, расставляет таски, помогает с календарем, ИИ хорошо делает сабтаски (разбивает таски на подзадачи). Есть бесплатная версия. #productivity

Кстати, я вчера не упомянул про новую Llama 3.2 В Meta выпустили первые легкие модели лам: 1B и 3B. Эти модели превосходят аналоги по множеству задач, а также дают возможность создавать персонализированных агентов. Они поддерживают длину контекста в 128K токенов. Подробнее можно почитать здесь. А теперь давайте честно, кто-нибудь пользуется Llama'ми?😎

У меня появилось. ура! (Advanced Voice mode в ChatGPT) Проверяйте у себя тоже. Первое впечатление очень приятное. Теперь голосовое общение намного больше напоминает живой диалог. Очень клево работают интонации, но еще больше нравится минимальное присутствие задержек. Диалог с чатом теперь буквально льется. Голосов не так много, всего 9. Но, возможно, это все что есть для русского языка.

Сегодня на Meta Connect 2024 нам приоткрыли шторку в мир удобных консьюмерских AR-очков, которые выглядят так, как должен выглядеть такой девайс – легкие, без проводов и с удобным управлением. Называться будут Orion. Но есть нюанс. Даже два. 1. Очки пока на стадии производства, в особенности из-за следующего пункта. 2. Стоимость производства одной пары очков на данный момент – 10k$. На рынок по этой причине они выйти пока не могут. Зато внутри много AI-штучек: голосовое управление, Meta AI помощник, хэнд трекинг и даже управление специальным браслетом (картинки прикрепляю).

Два вдохновляющих примера использования реальных простых объектов для создания контента в Runway (video to video). Первый пример попроще, вы видите его в этом посте. Автор взял игрушечный корабль своего сына и использовал его для создания ролика с кораблем…

Наконец-то! В течение недели все пользователи Plus и Team в ChatGPT получат доступ к той самой функции Advanced Voice. Помимо этого, добавлены кастомные инструкции, функция Memory, пять новых голосов, а также улучшены акценты. Все кто мечтал об этом эти четыре месяца с момента презентации – вот-вот смогут затестить!