Post #9418

📜 Anthropic опубликовали “новуюконституцию” Claude - самое интересное (и зачем это нужно) Anthropic выложила обновлённую “конституцию” Claude - документ, который задаёт ценности и поведение модели. Это не просто PR: такие принципы реально используются при обучении, чтобы Claude действовал предсказуемо в сложных ситуациях. Вот самое важное: 1) Это больше не список запретов, а логика мышления Раньше конституция больше походила на набор правил. Теперь идея другая: модель должна понимать “почему так”, а не просто следовать инструкциям. Иначе она будет ломаться в нестандартных кейсах. 2) Жёстко прописан порядок приоритетов Anthropic прямо фиксирует, что важнее всего для Claude (по убыванию): - безопасность - этичность - следование политике Anthropic - полезность “Быть полезным” для модели - важно, но никогда не ценой безопасности. 3) Есть неснимаемые запреты (hard constraints) Один из ключевых моментов: одних принципов недостаточно. В самых рискованных темах у модели есть жёсткие линии - например, она не должна усиливать опасные направления вроде создания биологического оружия. 4) Самый обсуждаемый блок: “природа Claude” В документе есть отдельный раздел, где Anthropic честно говорит: что разработчики Клода не уверены, может ли ИИ когда-то иметь форму сознания или морального статуса. И важная мысль: даже если сознания нет, модели всё равно нужно уметь рассуждать о своей роли, идентичности и границах - чтобы быть безопасной и устойчивой. 5) Документ написан не для людей, а для модели Конституция сделана так, чтобы Claude мог использовать её как “внутреннюю систему координат”: принимать решения, балансировать честность и сочувствие, избегать манипуляций и вреда. 6) Конституцию отдали в public domain (CC0) То есть её можно свободно копировать, переиспользовать и адаптировать - хоть для своих моделей, хоть для исследований. Anthropic позиционируют Клода не как “бота с фильтрами”, а как модель, у которой есть понятная система ценностей и объяснённые принципы поведения - и всё это максимально прозрачно. https://www.anthropic.com/news/claude-new-constitution @ai_machinelearning_big_data