TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #623 · 2.11

Тут уже несколько дней народ играется с генерацией музыки по текстовому описанию. Идея такая же, как с картинками: ты пишешь фразу, тебе нейросетка по ней создаёт трек. На деле реализовано чуть более топорно: текстовый препроцессор разбирает фразу и ищет контекстную близость до слов из специального списка тегов. Ну, например, он считает слово "weed" (трава, конопля) близким к жанру "reggie", вот и подставляет. Эти теги передаются в облачный API сервиса Mubert (да, никакого опенсорса на этот раз), и оно выдаёт трек. Я попробовал тоже. По примерам из статей я уже было подумал, что окончательно решена проблема "не подобрать трек для нового видео". Но увы. Результат на деле (а не в рекламе) такой же не впечатляющий, как и с картинками. Эта штука сносно генерирует всякие эмбиенты и другие спокойные треки, но на более сложных жанрах сразу загибается и очень сильно недокручивает и темп, и агрессию и разнообразие музыкальных фраз. Я после часа попыток не смог сделать ничего для быстрого интенсивного полёта дрона, только для плавного и медленного. Ну и очень часто неправильно улавливает контекст, даже даже открыто писать, что примерно ты от неё хочешь (вот как с треком Помпеи — вообще мимо, слишком спокойная и не грустная мелодия). Первые два трека сгенерировал @wooferclaw. Он не хейтер ML, в отличие от меня, поэтому у него больше терпения и, вероятно, он смог дольше перебирать варианты. Но всё равно на мой взгляд какой-то намёк на правильную идею есть, а развития совсем нет. Музыканты, можете выдохнуть. #dev

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #ffbb00

当前筛选 #ffbb00清除筛选

Бесплатный конкурент Nano Banana, который работает локально, и редактирует картинки без ограничений — Flux 2 Klein. Плюсы: ● Генерация картинок и редактирование внутри одной модели! ● В режиме редактирования очень хорошее сохранение деталей исходника. ● Klein 9b Запускается на сравнительно слабом железе. У некоторых даже работает при 8 гб vram + 64 RAM, но медленно. На маках тоже работает! Есть более шустрая и мелкая версия: Klein 4b, она работает вообще на тостерах с GPU, но качество субъективно похуже на 5-10% ● Для своего размера модель очень хорошо понимает запрос, работает с цветами в формате HEX #ffbb00, понимает структурированные JSON запросы, делает хороший реализм и свет. ● Base версии модели можно дообучать. Прямо сейчас сотни людей нагружают сервера, чтобы научить Klien новым трюкам или поправить косяки. Моделька правда очень мощная. По моим ощущениям, дает результат чуть лучше первой нано-бананы. Местами конкурирует с PRO. Главный секрет — в хорошем сжатии модели (distillation) и в запчасти нейронки которая называется VAE. Для линейки FLUX 2 разработчики специально запарились, чтобы изменения при редактировании были минимальными. В моих тестах локальный Klein на высоком разрешении сохраняет мелкий текст даже лучше, чем 2k API запрос в Nano Banana Pro! На видосе на 0:11 Минусы [–]Текстовый запрос на генерацию передается как есть. Нужно быть красноречивым нейтивом. Ну или использовать мой системный промпт для LLM, чтобы она писала детальные тексты для более тонких изменений. Я отправляю картинку, коротко объясняю задачу, и если Klein выдаёт плохой результат — прошу у LLM улучшить промпт. Обычно всё получается с первой или второй попытки. [–] Проблемы с анатомией. Да-да в 2026 году! Возможно из за сжатия, но иногда получаются длиннющие пальцы, или лишние ноги. Лечится перегенерацией заново. Благо моделька быстрая: у меня на ноуте 4 варианта выдает на пару секунд дольше чем одну генерацию Nanobanana Pro в облаке. [–] Хитрожопая «некоммерческая» лицензия. Текст лицензии Klein 9b написан так, что её можно по разному трактовать. Они ясно пишут, что не претендуют на "Outputs" т.е. результаты генерации, и «не ограничивают их использование, даже в коммерческих целях, кроме случаев, явно запрещенных в этой лицензии». В этой оговорке самое хитрое противоречие Дальше в тексте запрещен реверс-инженеринг и хостинг модели как сервиса в коммерческих целях. То есть можно трактовать широко: «не продавайте модель как платный сервис, но используйте локально и можете делать с картинками что хотите» А можно узко: «любое коммерческое использование запрещено, хотя на результаты мы не претендуем». Типа на территорию сада проход запрещен, но яблоки можно есть. Но если сунетесь — засудим. Но на яблоки не претендуем. Я потратил вечер сталкивая лбами две самые умные модели в мире (по состоянию на прошлую неделю), гоняя их по тексту этой лицензии 🙉 ChatGPT 5.2 Pro Extended после 30 минут размышлений пришел к выводу, что если бы он был «сотрудником по правовым вопросам», в крупной студии или компании Fortune 500, то он не рекомендовал бы использовать в коммерческих целях. Ну и вообще, мало ли что — посоветовал использовать более слабую модель Klein 4b, там в лицензии чистый Apache 2.0 без булшита. Gemini 3 Pro в режиме Deep Think сказал, что если дойдет до суда в юрисдикции Делавера, то юристы будут трактовать в вашу пользу из-за механизма Эстоппель 😑 😑 В общем решайте сами для своих сценариев с учетом рисков ↑ Gemini 3 конечно жесочайше лебезит в ответах по сравнению с ЖПТ! «Вы совершенно правы...» 🐱 Тут писал как настроить для жпт. Для Gemini только создавать Gem. Gemini недавно добавили свои инструкции Если начинаете совсем с нуля в ComfyUI, рекомендую вот этот туториал https://youtu.be/HkoRkNLWQzY?list=PL-pohOSaL8P-FhSw1Iwf0pBGzXdtv4DZC&t=428 А конкретно по Klein от этого же автора свежий урок с примерами и воркфлоу. https://youtu.be/kNap0VWP1xs?t=830 В комменты закинул еще сравнений до/после 🎤Ссылки на утро — второй канал ⏲Устойчивый VPN за звезду #ToolReview@cogload#text2image@cogload