Post #56

Всем привет! Вчера состоялась презентация от OpenAI по поводу новой модели ChatGPT - 4o! Сегодня я публикую серию постов с детальным разбором всех нововведений. Начнем с самого важного – объяснения, что означает буква "о" в названии модели. Это omni-мультимодальность. Ранее ChatGPT работал как три отдельных модуля: Глаза: Первая модель обрабатывала фотографии и изображения, переводя их в текст. Глаза видели улыбающееся лицо и описывали его: "Я вижу человека, у которого уголки губ подняты вверх". Мозг: Вторая модель анализировала текст. Она читала описание и делала вывод: "Этот человек улыбается". Рот: Третья модель озвучивала текст. Рот не понимал эмоций или интонаций, а просто читал текст: "Этот человек улыбается". Эти части работали отдельно, что создавало иллюзию мультимодальности, но было ограничено. Теперь, с появлением GPT-4o, всё изменилось: Единая интеграция: Мозг, глаза и рот работают вместе. Когда вы задаёте вопрос, модель сразу же понимает ваш голос, сохраняя эмоции и интонации. Мозг обрабатывает информацию и генерирует ответ, а рот озвучивает его с нужной интонацией. Целостная обработка: Модель работает как единый организм, который видит, думает и говорит одновременно, создавая более естественное и живое взаимодействие. Важно отметить, что, хотя модель GPT-4o уже доступна для всех, функции мультимодальности пока не работают и будут внедряться постепенно. Поэтому при запуске этой модели в мобильном приложении она всё еще функционирует по старой схеме разделенных частей.