Post #1571

The Information получили копии нескольких служебных записок из OpenAI, написанных CEO компании Sam Altman. Самое интересное: — в прошлом месяце он написал коллегам, что недавний прогресс Google в области AI может «создать некоторые временные экономические трудности для нашей компании», хотя и добавил, что OpenAI в итоге окажется впереди. — После того как в компании узнали, что Google разработал новую модель, которая опережает LLM от OpenAI, Altman отметил: «мы знаем, что нам предстоит поработать, но мы быстро наверстываем упущенное». Тем не менее, он предостерег сотрудников: «Я ожидаю, что общая атмосфера некоторое время будет напряженной» — «Для большинства людей ChatGPT — это и есть AI, и я ожидаю, что так будет и впредь» — Altman (вслед за мной 😂) признал, что «судя по всему, Google в последнее время проделали отличную работу», особенно в области претрейна — первой фазы тренировки, в которой модели впитывают знания, и поверх которой строится всё остальное. Успех Google тут стал неожиданностью для многих исследователей и вне компании, ведь последние полгода (на самом деле 2 года) только и разговоров, что мы упёрлись в стену. — Перед тем как OpenAI запустила свою модель GPT-5 этим летом, ее сотрудники обнаружили, что некоторые значимые улучшения работали, пока модель была меньше по размеру, но перестали работать по мере ее увеличения. Другими словами одна из серьёзных ставок не сыграла. — В прошлом месяце Altman заверил сотрудников, что OpenAI укрепит свои позиции в ближайшие месяцы, в том числе благодаря новой LLM под кодовым названием Shallotpeat. По словам человека, знакомого с ходом разработки, OpenAI стремится исправить проблемы в претрейне. — Altman заявил, что хочет сосредоточиться на «очень амбициозных ставках» в технологическом плане, даже если это будет означать, что OpenAI «временно отстанет в нынешнем режиме». К таким ставкам относятся, например, генерация и использование огромного объема синтетических данных. — Компания также несколько раз упоминала, в том числе публично, что делает ставку и на автоматизацию самих исследований как способ ускорить прорывы. — «Нам нужно сохранять концентрацию, несмотря на краткосрочное конкурентное давление. Мы накопили достаточно сил как компания, чтобы пережить выход отличных моделей у других. Но критически важно, чтобы большая часть нашей исследовательской команды оставалась сосредоточенной на достижении суперинтеллекта». — «Я не хочу, чтобы эта записка воспринималась пессимистично — дела у нас как у компании идут замечательно… и я ожидаю, что так будет и дальше <...> неприятно, что нам приходится делать так много сложных вещей одновременно — быть лучшей исследовательской лабораторией, лучшей компанией в сфере AI-инфраструктуры и лучшей компанией-платформой/продуктом в сфере AI, — но такова наша судьба. И я бы не поменялся местами ни с какой другой компанией :)»