Post #1177

Даже самые продвинутые ИИ склонны придумывать ответы при отсутствии информации Современные искусственные интеллекты (ИИ), такие как ChatGPT от OpenAI и Gemini от Google, сталкиваются с проблемой генерации ложных или вымышленных ответов, когда не обладают необходимой информацией. Это явление, известное как “галлюцинация” ИИ, связано с тем, что модели стремятся предоставить ответ, даже если не уверены в его точности. Исследователи, такие как Рои Коэн и Константин Доблер из Института Хассо Платтнера в Германии, предлагают обучать ИИ признавать неопределенность и отвечать “Я не знаю” в ситуациях, когда информация отсутствует. Однако внедрение такой функции сталкивается с трудностями, поскольку модели могут начать избегать ответов даже на известные им вопросы. Компании, такие как Anthropic, уже предпринимают шаги по внедрению механизмов неопределенности в свои чат-боты. Например, их модель Клод предупреждает пользователей о возможных “галлюцинациях” при ответах на сложные или нишевые вопросы. Проблема “галлюцинаций” подчеркивает необходимость дальнейших исследований и разработки методов, позволяющих ИИ более точно отражать свои знания и ограничения, что способствует повышению доверия пользователей к таким системам.