Post #279

База собесов про LLM - промптинг 💃 Предыдущий пост этой рубрики был встречен очень хорошо по реакциям и репостам, поэтому вторая часть посвященная промптингу к вашему вниманию. 1️⃣Базовая структура промптов По сути, есть две основные методологии составления промптов: AUTOMAT и CO-STAR. Давайте начнем с первого: (А) Act as a … ― вы определяете роль LLM. Имеет смысл сказать модели, чтобы она действовала как профессионал в предметной области. (U) User Persona & Audience ― с кем взаимодействует модель, аудитория, уровень ее подготовки. (T) Targeted Action ― что необходимо сделать. (O) Output Definition ― определяем выходной формат. (M) Mode/Tonality/Style ― настроение, стиль. Объясните модели, как читатель должен воспринимать текст. (A) Atypical Cases ― обработка исключений. Этот раздел для промптов, работающих с разным набором данных. Например, в приложениях, где один и тот же промпт вызывается с разными пользовательскими запросами. Объясните модели, как реагировать, когда пользователь спросил что-то не то. (T) Topic Whitelisting ― контекст, допустимые обсуждаемые темы. Это раздел также для промптов, работающих с разным набором данных. Думаю, создатели фреймворка разделили последние два пункта в таком порядке в основном ради того, чтобы получился красивый акроним. Указываем модели, о чем мы собираемся говорить. Теперь CO-STAR. По сути, тот же фреймворк, только в профиль: Context: Объясните модели, о чем речь, предоставьте подробности и контекст. Objective: Какая цель? Чего вы хотите добиться? Четко опишите задачу. Style & Tone: Аналогично AUTOMAT ― укажите эмоциональный тон ответа. Audience: Ваша аудитория, кто будет это читать, на кого вы ориентируетесь, готовя ответ. Response: Определите формат вывода Есть еще множество различных техник промптинга и вряд ли вы когда-нибудь их будете учить наизусть, но главное для меня - это обьяснять задачу LLM, как ребенку: сказать, чем он занимается, почему это важно, дать инструкции и примеры. 2️⃣Что такое in-context learning? Его еще называют обучение "на лету", то есть когда мы пытаемся улучшить качество ответа через промпт, без изменений весов LLM. 3️⃣Типы промптов Если вы начнете гуглить, то вам выдаст кучу непонятных типов, например сравнительных или ролевых промптов. Но в целом их можно обьединить в три вида: zero-shot, few-shot и chain-of-thought. Разберем каждый из них: Zero-shot: предполагают отсутствие примеров в запросе. Модель должна самостоятельно понять задачу и сгенерировать соответствующий ответ. Этот подход хорошо подходит для получения общего ответа или выполнения простой команды, где не требуется контекст. Few-shot: промпт включает несколько примеров решения задачи, что помогает модели лучше понять контекст и требования. Подходит для сложных задач, где важен контекст или требуется специфический стиль ответа. Сhain-of-thought: модель обрабатывает задачу пошагово, следуя логической цепочке рассуждений. Идеален для ответов, требующих последовательного анализа или расчета. 4️⃣Как повысить точность и надёжность ответов, а также сделать их проверяемыми в LLM? Как мы все знаем, что LLM очень любит галюцинировать и выдавать несуществующие факты за реальные. Для нас это может стать большой проблемой, потому что это достаточно сложно отличить. Поэтому есть несколько вариантов, как это можно избежать: 1. RAG Базовый поиск по векторам по базе документов, при котором LLM не ищет или придумывает данные, а сразу принимает реальные данные из нашей базы данных 2. Делать еще один запрос в LLM для проверки фактов Базовая идея проверить один ответ другим запросом в LLM, но если вы делаете продукт для клиента, то это станет огромной проблемой, так как один запрос в LLM +3 секунды. 3. Делать структурированные выводы информации Одной из лучших вещей, что есть в langchain считается structered_output, который дает возможность писать ответы в LLM в нужном формате. Промпты, наверное, самая простая тема в собесах, так что если на этом посте будет больше 30 репостов, то сразу выпущу вопросы с собеса про RAG. Обязательно ставьте реакции, автору будет приятно💗