Post #1366

Важнейший тейк для нас из Твиттера от Андрея Карпаты в ответ на: Мне больше нравится термин «контекстная инженерия», чем «промпт инженерия». Это лучше описывает основной навык: искусство предоставления всего контекста для того, чтобы задача была правдоподобно решена обладателем степени магистра права. https://x.com/karpathy/status/1937902205765607626 Сам ответ: +1 за «контекстную разработку» вместо «промпт разработки». Люди ассоциируют подсказки с краткими описаниями задач, которые вы бы дали LLM в вашем повседневном использовании. Когда в каждом приложении LLM промышленного уровня, проектирование контекста - это тонкое искусство и наука заполнения контекстного окна только правильной информацией для следующего шага. Наука, потому что правильное выполнение этого включает в себя описания и объяснения задач, несколько примеров, RAG, связанные (возможно, мультимодальные) данные, инструменты, состояние и историю, сжатие... Слишком мало или неправильной формы, и LLM не имеет правильного контекста для оптимальной производительности. Слишком много или слишком нерелевантно, и затраты LLM могут вырасти, а производительность может снизиться. Сделать это хорошо - весьма нетривиально. И искусство, потому что руководящая интуиция вокруг психологии LLM человеческих духов. Помимо собственно контекстной инженерии, приложение LLM должно: - разбить проблемы на потоки управления - правильно упаковать контекстные окна - распределять звонки между магистрами права (LLM) нужного типа и с соответствующими возможностями - обработка потоков генерации-проверки UIUX - многое другое - ограждения, безопасность, оценки, параллелизм, предварительная выборка, ... Так что контекстная инженерия — это всего лишь небольшая часть формирующегося толстого слоя нетривиального программного обеспечения, которое координирует отдельные вызовы LLM (и многое другое) в полноценные приложения LLM. Термин «обертка ChatGPT» надоел и действительно, действительно неправильный. То есть вы не можете попросить GPT создать лекарство от старости, нужно создать контекст задачи и правила того, как эту задачу решать.