Post #1947

Про качество AI продуктов А сегодня смотрим классный разговор моих хороших друзей, Виталия Шароватова и Алексея Шаграева. Леша сейчас делает Lovi – продукт, помогающий подбирать косметику и skincare продукты. Конечно же, с помощью AI – и конечно же сталкивается с тем, с чем и другие похожие продукты – проверять качество становится сильно менее тривиально. Вот какие подходы к QA у них работают: 👉Dark launch — выкатывают фичу в прод, но скрытно. Пользователь не видит, зато продукт уже работает с живыми данными. 👉Краудтестинг с помощью Толоки или MTurk, чтобы получать фидбэк от максимально разнообразных живых пользователей. 👉Black box testing – единственный способ оценивать функциональность недетерминированной системы. 👉Тестирование с помощью AI агентов на фермах девайсов помогает симулировать реальных пользователей и быстро прогонять разные exploratory сценарии.