📌Интервью 23-летнего сотрудника OpenAI, который выучил DL без учебы в университете.
Интересная история, которая заставляет задуматься об образовании и карьере.
Знакомьтесь - Габриэль Петерссон. Ему всего 23 года, он бросил школу в глухом шведском городке, не учился в ВУЗе, но прямо сейчас работает научным сотрудником в OpenAI, в команде Sora.
🟡Мы живем во время, когда монополия ВУЗов на фундаментальные знания пошатнулась.
Традиционное образование - это путь "снизу вверх". Хочешь заниматься машинным обучением? Сначала выучи линейную алгебру, потом матан, потом тервер. Это долго и зачастую теряется мотивация и понимание, зачем тебе это нужно прямо сейчас.
Масла в котел демотивации подливают компании, которые тоже не очень хотят ждать. Palantir, например, уже нанимает старшеклассников, минуя вузы. И история Габриэля — показательный пример тенденции.
Он не проходил классический путь "школа — бакалавриат — магистратура". Вместо этого он использовал ChatGPT как персонального ментора. И речь не о том, чтобы попросить чат-бот «напиши код за меня». Габриэль использовал метод, который он сам называет «рекурсивным заполнением пробелов».
Его суть том, чтобы идти как бы "сверху вниз". Он берет сложный проект: например, хочет разобраться, как работают модели диффузии. Он просит ChatGPT написать код. Естественно, сначала он ничего не понимает.
И вот тут он начинает задавать вопросы к каждому непонятному модулю. «Что делает этот блок?». Допустим, это блок ResNet. Он спрашивает: «Почему это помогает модели учиться?». И копает глубже. Если всплывает незнакомое понятие - он просит объяснить математическую базу, лежащую в его основе.
Это и есть рекурсия: слой за слоем, пока не заполнятся все пробелы в знаниях. Он не учит математику впрок, он учит ту математику, которая нужна ему прямо сейчас для работы кода.
🟡Но как иностранец без диплома получил визу в США и работу в Кремниевой долине?
Для получения визы талантов (O1) он использовал свою репутацию на Stack Overflow и рекомендации, которые просмотрели миллионы людей, как доказательство вклада в индустрию.
Габриэль советует: забудьте про HR. Резюме и дипломы не важны, если вы можете показать результат. Его стратегия — MVP или демо продукта и написать напрямую топ-менеджменту компании с предложением бесплатной работы на неделю. Это снимает риски для нанимателя и дает вам шанс показать себя.
Его главный посыл: если вы готовы активно задавать вопросы и не боитесь выглядеть глупо перед ИИ, изучая основы, вы уже входите в 1% лучших. Потому что большинство людей просто плывут по течению.
🔜Посмотреть полное интервью
@ai_machinelearning_big_data
#AI#ML#Interview#OpenAI
Polymathic - междисциплинарный ИИ
Ох, какая классная межуниверситетская инициатива - Polymathic🔥.
Задача, которую они решают, заключается в создании ИИ моделей, которые используют информацию из наборов данных различных модальностей и разных научных областей, которые не имеют общего представления (например, текста). Такие модели могут использоваться в качестве надежных базовых показателей или можно сделать файн-тьюнинг для конкретных приложений. Такой подход может демократизировать ИИ в науке, предоставляя более сильные априорные модели для общих концепций, таких как причинность, измерение, обработка сигналов, и т.п.
В общем история с базовыми и генеративными моделями понемногу адаптируется к научным задачам, за что мы топим тоже 🤘. Реальных проектов пока немного, но есть, например, Multiple Physics Pretraining - подход к разработке больших предобученных физических суррогатных моделей или AstroClip - видимо модель CLIP для астрофизиков.
На данный момент кроме команды ученых есть и крутой консультативный совет, например, с Яном Лекуном (Yann LeCun) из Meta AI.
#AI#ML
OpenAI завершила предобучение модели Spud и создала отдел AGI Deployment для её интеграции в продукты
Компания OpenAI завершила претрейн своей следующей модели AI под кодовым названием Spud (картошка). Согласно внутренним документам, Сэм Альтман сообщил сотрудникам, что в течение нескольких недель у компании появится очень сильная модель, способная "действительно повлиять на экономику".
Вокруг этой модели происходят значительные организационные изменения в стартапе. Альтман перестал лично курировать часть своих прямых подчиненных, включая команды по безопасности, и сосредоточился на привлечении капитала, выстраивании цепочек поставок и строительстве дата-центров.
Продуктовая организация под руководством Фижи Симо (Fidji Simo) была переименована в отдел AGI Deployment. Эта команда будет отвечать за интеграцию следующей модели в продукты компании. Планируется построить на её основе "супер-приложение", объединяющее ChatGPT, Codex и браузер Atlas.
Причины использования термина AGI вместо AI в названии отдела остаются неясными, это может также указывать на подготовку к официальному объявлению достижения AGI. Отказ от проекта SORA App также является частью перестройки и перераспределения вычислительных ресурсов для модели Spud.
#news#AI#OpenAI
https://www.theinformation.com/articles/openai-ceo-shifts-responsibilities-preps-spud-ai-model
Сооснователь и бывший главный исследователь OpenAI Илья Суцкевер открыл собственную компанию
Safe Superintelligence (SSI) позиционируется почти как OpenAI, когда её только основали: некоммерческая исследовательская организация, целиком сфокусированная на вопросах AI. SSI обещает уделить всё внимание решению проблем безопасности AI-моделей и средствам управления рисками, сделав так, чтобы их развитие опережало прогресс собственно AI.
Компания не планирует заниматься рыночными продуктами и распылять усилия на коммерциализацию.
В OpenAI Сукцевер отвечал в том числе за безопасность и инструменты контроля над работой моделей. Он покинул компанию в 2023 г. из-за корпоративного конфликта.
#openAI#AI
https://www.bloomberg.com/news/articles/2024-06-19/openai-co-founder-plans-new-ai-focused-research-lab
‼️❗❕Звёздные врата открываются
OpenAI, SoftBank, Oracle и другие техногиганты запускаютProject Stargate — крупнейший инфраструктурный проект в истории ИИ. $500 млрд инвестиций, 10 датацентров в Техасе и 100 000 новых рабочих мест. Но главное не цифры.
Во-первых, это не просто "ещё один проект". Stargate — первая в истории попытка создать физическую инфраструктуру, специально заточенную под нужды продвинутого ИИ. Представьте, что мы строим не просто сеть компьютеров, а фундамент для следующей технологической революции.
И да, масштаб проекта говорит о том, что крупнейшие игроки рынка всерьёз готовятся к прорыву в развитии ИИ. Они вкладывают суммы, сравнимые с ВВП небольшой страны — значит, ожидают соответствующей отдачи.
А ещё Microsoft обновила партнёрство с OpenAI до 2030 года, сохранив эксклюзивные права на API. В переводе на человеческий: экосистема вокруг GPT продолжит расти, а значит — больше инструментов и возможностей для всех нас.
🔥 Похоже, ребята из OpenAI всерьёз решили открыть свои "Звёздные врата". Вопрос уже не в том, кто первым заглянет на ту сторону, а в том, кто сможет составить им конкуренцию. Как думаете, кто следующий?
#ИИ#AI#Нейросети#OpenAI
———
#События
✍️Подписывайтесь: @aiforproduct
Исходя из ценообразования #openAI прайс на следующую AGI модель будет в районе 2,000$
Так что готовимся покупать GPT модели как новый айфон каждый год 🤯
🤖 Пример того, как мы скоро будем разрабатывать веб-сайты.
Рисуешь макет [немного GPT магии] > готовый код и сайт.
Потестил одну из таких открытых библиотек. Сейчас это выглядит максимально примитивно, но как мы видим в #AI год за десять идет. Можете попробовать сами, если у вас есть АПИ ключ от #openAI
Унижение с NVIDIA
#fail#interview
Продолжаем марафон фэйлов. После десяти описанных уже накопился мини-батч, отдельно расскажу про NVIDIA. Это был не провал, а провал с треском. Не failed, а failed miserably.
Знакомство сразу типа «че, порох нюхал?» на чем DPO гоняешь? Как distributed model parallel делал? Не, не делал, только DDP? А, че 70b модели не трогал? Интервьюер китаец и очень вежливый, но вайб примерно такой.
Дальше неплохо. Трансформер, NLP, все дела. Архитектуру трансформера вообще почти все спрашивают. Правда, чел лихо делал отсылки ко всяким статьям типа Retro, начитанный. Но я вроде норм поддержал беседу.
Посыпался я на первом же вопросе про инжиниринг. В чем отличие хранения переменных в стэке от кучи?И как это связано с локальными/глобальными переменными? Я не то что забыл, думаю, я никогда даже не изучал это. Я вопрос-то распарсил со второго раза. Максимум мог промямлить, что стэк появляется при рекурсии.
И алгоритмы: задача «8 ферзей». Классика, 101, по словам интервьюера. Код писать не надо было, только решение описать. Но я что-то начал лепить то dynamic programming, то бэктрекинг. Хоть сложность факториальную правильно оценил, но все же четко не расписал решение с DFS. Думал это простая задача, база, а это хард.
На удивление, не сильно зацепило. Я знаю, что не хардкорный инженер. Гораздо хуже, когда все прекрасно и в последний момент обламывается.
А NVIDIA ищет единорогов, крутых и в рисече, и в инженерии. Могут себе позволить, в описании вакансии Senior Applied Scientist вилка для US 185-335k, и это только base. А акции все видели, потолок пробивают.