Post #4392

🔥10 правил: как проектировать LLM-приложение Недостаточно просто взять одну хорошую LLM для того чтобы построить полноценный продукт, так вы получите дорогую негибкую и ненадежную черную коробку. @vikulin_ai рассказывает, как правильно дизайнить решения с LLM чтобы нивелировать вышеперечисленные проблемы. Ключевые советы: 1️⃣ Выберите архитектуру решения: ml workflow или агенты. 2️⃣ Всегда используйте RAG. 3️⃣ Используйте structed output. 4️⃣ Применяйте все фичи поисковых движков в retrive-части RAGа - не ограничивайтесь эмбеддингами. 5️⃣ Сделайте лучшие метрики качества. 6️⃣Обрабатывайте экстремально плохие кейсы при помощи GurdRails. 7️⃣ Вставляйте агентов, где важно итеративно подумать. 8️⃣ Реализуйте механизм доспрашивания что справляться с неполными или неточными вопрос. 9️⃣ Дистиллируйте LLM чтобы оптимально использовать ресурсы. 1️⃣0️⃣ Оркестрируйте различные по сложности модели для экономии ресурсов. 👉 Порекомендовал своей команде посмотреть конференцию True Tech Day в рабочее время, сам смотрю на выходных, советую и вам, ведь многие доклады топ и доступны в записи. Ставьте 🔥 , если вам зашло выступление так же, как и мне и если вы хотите видеть больше топовых докладов в канале.