🔥 Сенсей Карпаты выложил новый репозиторий - полный пайплайн обучения LLM с нуля
В проекте есть всё, чтобы собрать свой ChatGPT-клон за $100 и 4 часа:
> • токенизатор (написан на Rust)
> • pretraining
> • SFT (supervised fine-tuning)
> • RL (reinforcement learning)
> • оценка модели (eval)
Всего 8 000 строк кода, без лишних зависимостей - идеальный учебный пример, чтобы понять, как реально устроено обучение больших языковых моделей.
💡 Это проект из его нового грядущего курса LLM101n, и отличная возможность прокачать свои ML-навыки на практике.
Можно арендовать GPU в облаке и запустить всё самому - код уже готов к запуску.
Если запустить обучение модели nanochat на облачном GPU-сервере (например, 8×H100), то примерно через 12 часов обучения (стоимость ~300–400 $) модель достигает уровня GPT-2 по качеству на тестовых наборах (CORE-score).
А если тренировать около 40 часов (затраты ~1000 $), решает простые задачи по математике и коду, набирая:
- 40+ на MMLU
- 70+ на ARC-Easy
- 20+ на GSM8K
🧠 Это бесплатная практика топ уровня от мастера, которую не стоит упускать.
🟠GitHub:https://github.com/karpathy/nanochat
🟠Технические детали:https://github.com/karpathy/nanochat/discussions/1
@ai_machinelearning_big_data
#LLM#nanochat#MachineLearning#DeepLearning#AI#GPT
Друзья, запустили сайт-версию сервиса: ai.jdmax.ru
• Лучше работает с большими текстами
• Удобнее для таблиц и формул
• Можно вести несколько диалогов
Если хотите более удобный формат, чем бот — пробуем:
👉ai.jdmax.ru👈
JDMax #gpt
✅ Завтра
✅ AI.Hack Москва
📅 16–18 марта / 19:00–22:00 (время МСК) / Москва, проспект Мира, 121
💵 Бесплатно
📝 Регистрация тут: https://goo.gl/3gkRj6
Приглашаем программистов нейросетей, специалистов по machine learning, deep learning, data scientists, computer vision, предпринимателей с опытом развития технологичных бизнесов и всех заинтересованных принять участие!
Призовой фонд хакатона: 600 000 руб.
#MachineLearning#DeepLearning#DataScientists#Москва
В GPT появились стилевые пресеты.
1. Нажми на значок карандаша рядом с референсом → «Стили».
2. Если работаешь без референса, выбери «Инструменты» → «Создать изображение» → «Стили».
#gpt | AcidCrunch
🫠Как создать заголовок, который заставит кликнуть
На эту тему могут рассуждать все, начиная от копирайтеров, заканчивая топ-менеджерами, выступающими перед инвесторами. Сделать такой заголовок, который прям вцепится в мозг — задачка не из легких. И даже те, кто используют нейросети для подготовки текстов, замечают, что ИИ редко выдает с первого раза настоящую бомбу.
➡️ Наткнулись на GPTs “Заголовок который СМОГ”. Автор обучил нейросеть создавать мощные заголовки. ИИ анализирует потребности аудитории, использует эмоциональные триггеры, пирамиду потребностей и разные другие фишки. Всё для того, чтобы заголовок точно попадал в цель.
🔵Тест-драйв генератора заголовков
Исходный заголовок:
Краткий гайд: Как заработать миллион на нейросетях
GPTs “Заголовок который СМОГ”
• Заработай свой первый миллион на нейросетях: секреты, о которых никто не расскажет!
• Ошибки, которые мешают вам заработать миллион на нейросетях!
• Секреты заработка миллиона на нейросетях: что скрывают эксперты?
• Миллион на нейросетях: 5 шагов, которые упускают 90% людей
• Что творят нейросети: как сделать первый миллион и не прогореть
Разница тут в том, что заголовки не просто пересказывают тему, они бьют по боли и обещают решение. Такие заголовки дают реальный стимул кликнуть.
🔵Еще вариант
Исходный заголовок:
Плюсы и минусы домашнего обучения школьников
“Заголовок который СМОГ”
• Домашнее обучение: Убийцы стресса или недостаток социализации? Все плюсы и минусы!
• Домашнее обучение: за и против, что вы не учли перед важным решением
• Домашнее обучение: Как правильно организовать и избежать главных ошибок
• Домашнее обучение: освобождение от стресса или новые трудности для родителей?
• Домашнее обучение без ошибок: как избежать главных проблем и сделать его эффективным
Такие заголовки сразу зацепят тех, кто сомневается, стоит ли переходить на домашнее обучение. В них играют на тревогах и ожиданиях родителей.
🔵Из жизни начальника
Исходный заголовок:
Доклад на тему: Итоги хозяйственной деятельности предприятия ХХХ
“Заголовок который СМОГ”
• Финансовая независимость ХХХ: что дальше после успешного 2023 года?
• ХХХ: Как сохранить стабильность в условиях снижения абонентской базы и роста затрат
• Стабильность в условиях изменений: итоги работы ХХХ за 2023 год
• Рентабельность в условиях сокращения абонентов: итоги 2023 года для ХХХ
• ХХХ: результаты, угрозы и пути развития в 2024 году
Здесь заголовки подаются с изюминкой, цепляют вопросами и вызывают интерес к будущему компании. И даже если с перспективами у предприятия всё мутно, оптимистичный настрой помогает вырулить.
Лучше всего варианты у “Заголовок который СМОГ” получаются, если кидать весь текст материала целиком. Тогда GPT удается выдавать более релевантные предложения.
Кому пригодится?
Всем, кто хочет зацепить с первого предложения. От темы письма до презентации инвест стратегии. Попробуйте!
Кстати, мы придумали такое начало к этому посту: “Сколько стоит заголовок?”, но GPT предложила “Как создать заголовок, который заставит кликнуть”. Однозначно, звучит лучше. Как думаете?
#ИИ#GPT#AI#нейросети
———
#Инструменты
✍️Подписывайтесь: @aiforproduct
Иногда появляется ощущение, что жизнь вокруг ИИ происходит в режиме быстрой перемотки. Меньше месяца назад Мета выпустила SAM для сегментации любых объектов на изображении, но такое ощущение, что это было всегда. Только за последние 2 дня я уже прочитал около десятка документов, описывающих прототипы использования SAM для изучения недр.
Например, на первых двух картинках (из этого поста) - берем шлиф(срез породы) -> пропускаем через SAM -> выделяем все зерна пород -> автоматически получаем распределение размера зерен (гранулометрия).
На последней картинке я просто кликнул мышкой и выделил все пыльцевые зерна на изображении полученном с помощью электронного микроскопа. Автоматически выделенные зерна можно классифицировать и использовать палеотнологами для определения геологического возраста породы.
#machinelearning#Geo
Скоро нам станет доступна новая версия #GPT-4V(vision) - один из модулей отвечающих за “зрение” модели GPT. Некоторые пользователи получили уже ранний доступ и возможности модели как всегда впечатляют:
- GPT читает сложные диаграммы
- Определяем где (и откуда) была сделана фотография
- Разгадывает капчу
- Разгадывает кроссворды и судоку
- Верстает дизайн из фигмы или просто с вашего листочка блоксхемы
- Понимает мемы и головоломки
- Определяет из какого фильма был сделан кадр
- Решает математические задачи по фото страницы из учебника
- Считывает любые схемы и объясняет их (даже схемы электроплат)
... и еще много всего!
В общем у #openAI уже есть:
- GPT 4 со всеми знаниями человечества
- Зрение (работа с изображением: создание или распознование)
- Слух (работа с аудио)
- Плагины к любому онлайн сервису
- Доступ в интернет
- Доступ к интерпретатору кода
- и многое другое
… и это еще год не прошел с его появления.
😩
👍 Ночь музеев по ИИ-версии
Мы вдохновились Ночью музеев и собрали свою экспозицию — знаковые картины в новых стилях, сгенерированные через GPT-Image 1: стимпанк, аниме, киберпанк, постапокалипсис и другие.
🫥Один промпт подойдет под разные стили:
Перерисуй эту картину в [стиль]
✴️Все это сгенерировано прямо внутри GPTunneL через GPT-Image 1.
🔗Создать свой шедевр
#gpt@gptunnel
™️Создайте свою коллекционную фигурку в GPTunneL!
Превратите любое фото в реалистичную action-figure с помощью GPT Image 1! Выберите цвет упаковки, добавьте аксессуары и создайте уникальную коллекционную фигурку без навыков дизайна.
Пошаговая инструкция, как создать фигурку в GPTunneL:
➡️Шаг 1. Перейдите в GPT Image 1 и нажмите на значок скрепки в поле ввода для загрузки вашей фотографии. Убедитесь, что лицо хорошо видно.
➡️Шаг 2.Скопируйте и заполните следующий промпт:
Создай игрушку по моему фото в формате экшн-фигурки. Фигурка в полный рост и находится внутри [укажите цвет] коробки в левой ее части, справа рядом размести ее аксессуары: [перечислите желаемые].
На верхней части коробки напиши [текст], а ниже укажи [дополнительный текст].
[Добавьте описание внешности: особенности фигуры, прически, одежды и т.д.]
Изображение должно быть максимально реалистичным.
➡️Шаг 3.Готово! Скачивайте созданную карточку и делитесь результатом в комментариях 👇
🔗Создать фигурку в Креативной лаборатории GPTunneL
А как проводите майские вы?
❤️ - чиллю, жарю шашлычки
👍 - весь в делах и заботах
#gpt@gptunnel
ChatGPT для климатических вопросов и ответов
На Hugging Face есть милейший чат бот, который отвечает на все вопросы, касающиеся климата. Работает с помощью больших языковых моделей и при взаимодействии с ChatGPT API.
Бот обучен в основном на документах межправительственной комиссии по изменению климата (IPCC), поэтому не понимает, когда его спрашивают про что-то другое. Задаете вопрос, получаете развернутый ответ со ссылками на документы IPCC. Это интересный пример внедрения больших языковых моделей обученных на корпусе внутренних документов.
#AI#climate#LLM
🔴ChatGPT научился выдавать видео
Еще несколько недель назад мы слышали, что ChatGPT способен выдавать видео с YouTube. Но делал он это крайне неохотно и только после долгих уговоров. А сегодня, без предупреждений, сам предложил видеоинструкцию на запрос о функционале инструмента. Причем сделал всё самостоятельно: подобрал текст, выдал ссылку, а затем загрузил видео. К тому же это оказалось видео с российского канала, которое точно и полно отвечало на наш запрос.
Мы продолжили эксперимент, попросив инструкцию по работе в Excel. Сначала ChatGPT отказался, но после настойчивой просьбы всё же выдал 5 видеороликов, которые можно сразу посмотреть в чате.
Это действительно удобно и полезно, когда нужно быстро найти подходящее видео. Если не получилось с первого раза, стоит напомнить ему:
Я знаю, что ты это умеешь.
Как думаете, пригодится для ваших задач?
#ИИ#GPT#AI#нейросети#ChatGPT
———
#Инструменты
✍️Подписывайтесь: @aiforproduct