PHYGITAL+CREATIVE

Творческий директор Halo Infinite Джозеф Стейтен присоединился к Netflix — он будет работать над AAA-игрой по новой IP

https://www.linkedin.com/posts/ezevidra_the-big-challenge-in-generative-ai-is-gpu-activity-7053656347438948352-ITfe?utm_source=share&utm_medium=member_desktop

Эту версию mini gpt можно попробовать в браузере. Погонять по вашим фотографиям, как – смотрите в примере на видео. На моей фотке детёныша геккона она определила довольно чётко. Только помните, что у модели нет доступа к редактированию фото, т.е. она не сможет посчитать вам количество чего-либо на фотографии или измерить расстояние между чем-либо. Зато сможет подсказать рецепт по фото, написать маркетинговую подводку, собрать базовые блоки сайта или вылечить ваше растение, в общем, всё то, что gpt4 уже умеет. Сорс

https://www.linkedin.com/posts/jonradoff_langchain-ai-generativeai-activity-7053503730960207872-pyZC?utm_source=share&utm_medium=member_desktop

Zip-NeRF: Anti-Aliased Grid-Based Neural Radiance Fields На днях барон всех нерфов, Джон Баррон, опубликовал еще одну статью, где разъебал сильно улучшил 3D реконструкцию и рендеринг больших сцен. Серьезно, имя Джона Баррона нужно знать, если интересуетесь нейронным рендерингом. Чел работает Senior Staff Research Scientist в Google и опубликовал более 20 статей по теме за последние пару лет. В новом методе он объединил медленный, но мощный mip-NeRF 360, который решает проблему алиасинга при рендеринге объектов разного масштаба, и быструю модель Instant NGP, которая работает на воксельных гридах. Для вычисления цвета пикселя Mip-Nerf использует конусовидные фрустумы вместо трейсинга лучей, однако такой трюк не получится заюзать в лоб с методами, работающими на воксельных сетках. В Zip-Nerf барон изворачивается и эту проблему решает. Качество рендеринга улучшилось на 8%–76%, а тренировка ускорена в 22 раза по сравнению с mip-NeRF 360. Сайт проекта Вот ещё ссылка на либу с GUI для разных нерфов @ai_newz

Вчера полночи экспериментировал с Langchain и автономными агентами. Кажется, становится понятен новый паттерн работы. Ну или взаимодействия с миром вообще. Высокую эффективность такого рода системы достигают с добавлением большого количества агентов. У вас будет не просто агент-программист и агент-финансист, но, чтобы они максимально эффективно работали, так же независимый агент, который делает ревью кода и таблиц. Тот, кто приоритизирует им задачи. Тот, кто делает гуглёж и рисерч для первых четверых. Особо полезным оказался агент-босс-чайка, который просто ходит вокруг и говорит всем вокруг: «а ты точно не херню полную делаешь?» Вот пример: я сделал виртуальную игру / писателя, в котором пользователь может создать свой собственный мир, проходить квесты и результат квестов отражается в общей памяти мира, видимой другим игрокам. Проблема была в том, что AI писал прекрасные истории, но если история состоит из многих шагов, то он постоянно застревал в цикле завязка-конфликт толком не снижая напряжение в сюжете. Решением стало ввод дополнительного агента, который действует как независимый критик-сценарист, задача которого является суммаризация и оценка качества сюжета. В итоге: 1. AI генерирует сеттинг и несколько квестов 2. Пользователь выбирает новую историю 3. AI генерирует кусок сюжета 4. Другой AI делает выжимку 5. Третий независимо оценивает и говорит первому на что сделать акцент в следующем куске (абзаце) 6. Пользователь выбирает вариант развития сюжета, но ответ приходит с учетом замечаний других агентов P.S. GPT-4 всего лишь в 5 раз круче, чем GPT-3.5, но при этом в 30 раз дороже за каждый токен.

Open Assistant уже хорошо умеет на английском, на русском средненько. Датасет инструкций мультиязычный, русского там сейчас 9.6%. Можно помогать с разметкой. Демо, веса. #chatgpt

​🚀Dolly 2.0 – первая открытая 12B Chat-LLM, которую можно использовать в коммерческих продуктах Databricks удивили! Ребята заметили, что все опен-соурсные ChatGPT-клоны либо используют LLaMA, в которой некоммерческая лицензия, либо используют данные, которые запрещают коммерческое использование (как например датасет инструкций от Alpaca, сгенерированный с помощью GPT-3). В чем преимущество OpenAI перед опен-суорсом, если не брать в расчет размер GPU кластера? В данных. Чтобы дообучить ChatGPT было собрано много качественных диалогов и иструкций от реальных людей, ну, и плюс RL from Human Feedback (RLHF), где люди оценивали ответы языковой модели. Было решено собрать свой датасет. В Databricks работает ≈5000 человек, их всех и попросили написать вручную несколько семплов для обучения клона ChatGPT. Нужно было составить качественные пары Вопрос-Ответ, либо Инструкция-Ответ, на которых можно было бы добучить опенсоурсную авторегрессионную LLM, которая умеет просто продолжать текст, а не вести диалог. В итоге с помощью пряников в виде бонусов за написание лучших примеров, было собран высококачественный датасет на 15000 семплов! Далее, они взяли свежу языковую модель Pythia-12B от EleutherAI с MIT лицензией и дообучили на своем датасете, получив Dolly 2.0* которую тоже зарелизили под MIT лицензией вместе с кодом и весами. Разве не прелесть? generatetext = pipeline(model="databricks/dolly-v2-12b", torchdtype=torch.bfloat16, trustremotecode=True, devicemap="auto") generatetext("Who is Shcmidhuber?") Умельцы уже кванитизовали Dolly 2.0 в 4 бита и ускорлили для запуска на CPU. Теперь ждём шага от OpenAssistant, которые по слухам зарелизят свою модел в ближайшие дни. *Dolly 1.0 была обучена на тех же инструкциях, что и Alpaca. Блогпост про Dolly 2.0 @ai_newz

​🚀Dolly 2.0 – первая открытая 12B Chat-LLM, которую можно использовать в коммерческих продуктах Databricks удивили! Ребята заметили, что все опен-соурсные ChatGPT-клоны либо используют LLaMA, в которой некоммерческая лицензия, либо используют данные, которые запрещают коммерческое использование (как например датасет инструкций от Alpaca, сгенерированный с помощью GPT-3). В чем преимущество OpenAI перед опен-суорсом, если не брать в расчет размер GPU кластера? В данных. Чтобы дообучить ChatGPT было собрано много качественных диалогов и иструкций от реальных людей, ну, и плюс RL from Human Feedback (RLHF), где люди оценивали ответы языковой модели. Было решено собрать свой датасет. В Databricks работает ≈5000 человек, их всех и попросили написать вручную несколько семплов для обучения клона ChatGPT. Нужно было составить качественные пары Вопрос-Ответ, либо Инструкция-Ответ, на которых можно было бы добучить опенсоурсную авторегрессионную LLM, которая умеет просто продолжать текст, а не вести диалог. В итоге с помощью пряников в виде бонусов за написание лучших примеров, было собран высококачественный датасет на 15000 семплов! Далее, они взяли свежу языковую модель Pythia-12B от EleutherAI с MIT лицензией и дообучили на своем датасете, получив Dolly 2.0* которую тоже зарелизили под MIT лицензией вместе с кодом и весами. Разве не прелесть? generatetext = pipeline(model="databricks/dolly-v2-12b", torchdtype=torch.bfloat16, trustremotecode=True, devicemap="auto") generatetext("Who is Shcmidhuber?") Умельцы уже кванитизовали Dolly 2.0 в 4 бита и ускорлили для запуска на CPU. Теперь ждём шага от OpenAssistant, которые по слухам зарелизят свою модел в ближайшие дни. *Dolly 1.0 была обучена на тех же инструкциях, что и Alpaca. Блогпост про Dolly 2.0 @ai_newz

https://www.antler.co/blog/generative-ai

https://foundationcapital.com/foundation-model-ops-powering-the-next-wave-of-generative-ai-apps/