Post #1459

Про использование LLM в ваших продуктах В этому году, кажется, продакты и топ-менеджмент любой компании 80% своего ресурса тратят на то, чтобы понять, где конкретно их бизнесу могут помочь LLM. В посте – довольно неплохая подборка эвристик, которые могут вам помочь в такого рода рассуждениях. 👉LLM предсказывают наиболее резонные ответы на любые промпты. 👉Вы не сможете оценить, насколько точно был дан каждый конкретный ответ. 👉Вы можете в среднем оценивать точность модели и какого-то определенного набора промптов. 👉Точность ответов можно увеличить, используя модели большего размера, но они буду дороже и медленнее. 👉Даже самые быстрые LLM недостаточно быстры для многих задач. 👉Даже самые дорогие LLM не слишком дороги для большинства В2В задач. Даже самые дешевые LLM недостаточно дешевы для большинства консьюмерских задач. 👉Перфоманс моделей продолжит улучшаться в будущем, но скорость его улучшения будет довольно быстро падать. 👉Учитывая приведенные выше ограничения, вам надо либо смириться с неточностью ответов модели, либо комбинировать их с ручными человеческими проверками.