Впервые использовал нейросетку для реальной практической пользы в коммерческом заказе.
У заказчика есть база данных, куда информация вносится кое-как. Представьте, что вы составляете каталог, например, книг, и в базе данных предусмотрены поля: "Автор книги", "Название книги", "Число страниц" и ещё десяток других полей с информацией. Но заполняют эту базу другие люди, которых вы не контролируете, поэтому информация может случайным образом лежать в любом произвольном поле, быть введена с ошибками, опечатками и так далее. В реальном заказе были не книги, я просто привожу пример такой же задачи.
Вот как это может выглядеть:
1. В поле "Автор" написано "Лондон, Дж. Белый Клык", поле "Название" при этом пустое.
2. В поле "Название" написано "150-страничный сборник рецептов", поле "Число страниц" пустое
3. В поле "Название" написано "джеклондон мартин иден", поле с автором пустое
4. В поле "Автор" написано "150-стр.3изд,доп.перераб инструкция по пользованию подстанциями типа ТП-13, М.Васильев москва 98"
...и так далее. А нужно искать нормально по автору, названию, числу страниц, городу и году издания. Никакими прямыми алгоритмами это не берётся: регулярки, поиск по ключевым словам, морфология, нечёткая логика — всё это либо даёт много ложноположительных результатов, либо (если подкрутить пороговые значения) вообще перестаёт искать.
И вот тут в какой-то момент мы решили попробовать запрашивать через API GPT. Нейросетке задаётся следующий промт:
"Есть следующая информация: «150-страничный роман джеклондон мартин иден». Если здесь есть то, что похоже на имя автора книги, напиши мне его, иначе ответь null". И, надо сказать, даже 3.5 справляется с этой работой очень хорошо. Получилось сравнительно без ошибок разметить около 80% данных (остальные с ошибками даже после нейросетки).
Но, важный нюанс. Сначала мы пытались поймать все данные одним запросом: "GPT, выведи мне JSON, в котором есть автор, название, число страниц...", но тесты показали, что значительно эффективнее будет отдельно спросить 5 раз про 5 разных типов данных. Да, это расходует больше токенов, но они и так сравнительно дёшевы.
Кстати, API у OpenAI безбожно глючит даже на платном тарифе. Обещанных 3500 запросов в минуту нет даже приблизительно. По факту удаётся отправлять около 200-300 запросов в минуту, потом оно вываливается в таймауты или ошибку 429, нужно делать какие-то умные паузы, ждать итд. Над этим всем пришлось повозиться, зато результат вполне ощутимый.
#dev
Пока писал последние посты я узнал, что существует ежегодная гонка по подъему на “Пайкс-Пик”. Старт на высоте ~2862 м, финиш - 4302 м. Трасса имеет 156 (!!!) крутых поворотов.
Считается одной из самых трудных и опасных гонок из-за слепых поворотов, большого количества виражей и экстремальных условий (меняющаяся погода, резкая смена высоты, живность и др) на трассе без ограждений.
У гонки также есть другое эпичное название “Гонка в облаках”. 🏎
Вот вам 10 минутное видео
#CO
The Broadmoor Manitou & Pikes Peak Cog Railway 🚂
По приезде в штат Колорадо в голове сразу появилась мысль, что здесь обязана быть красивая железная дорога в горы, вот и она.
Зубчатая железная дорога ведет на вершину “Пайкс-Пик” (14,115 фут или 4,302 метров над уровнем моря), что входит в цепь “Скалистых гор”.
Длительность поездки ~3.5 часа туда-обратно.
#CO
Я ел бычьи яйца, теперь официально 🐂
Когда-то я смотрел видео о блюдах в каждом штате, и в Колорадо есть такая штука как “Rocky Mountain Oysters”. Как понимаете, оно никак не связано с устрицами 🙂
Перед отъездом из штата хотел попробовать. Если вкратце: без вкуса и запаха, консистенция - кальмар, все обжарено в панировке. По-моему, в панировке можно что угодно съесть. Подается с большим количеством разных домашних соусов и, как по мне, только соусы и придают вкус. Под пиво пойдет.
Если вдруг ищите, что посмотреть за обедом, то вот видео как их готовят.
Приятного аппетита.
#CO
Факт дня - Колорадо один из самых больших штатов по производству пива в стране.
Я пытался искать статистику, но везде информация разнится (будем считать, что где-то на третьем месте). Да и кому какая разница на каком он месте? Главное, что производят🍺
Как настоящий исследователь взял набор «exploration»
🍺
#CO
Год жизни в штате Колорадо, подтверждаю кажое слово в видосе😂
Если можно описать местных простыми словам, то:
горы, горы, крафтовое пиво, горы, субару, хайкинг, горы, лыжи, горы, легинсы, горы, горы горы.
А, ну и еще худшие в мире водители, забыл добавить
И еще один смешной про местных
#CO
Утешительный приз в виде замерзшего водопада Zapata falls для тех кто не умеет заранее смотреть информацию о погоде.
В получасе езды+ходьбы от дюн в скале находится небольшой водопад. Чтобы добраться зимой нужно пройти по льду между скал, но оно того стоит.
#CO
Во второй день поездки поднялся настолько сильный ветер, что из-за песка не было видно гор, сегодня было точно не до катаний на борде в дюнах. Боюсь представить что происходило в самом парке.
Нравится снимать местные просторы из машины, поэтому теперь будет рубрика дорог 🚗
#CO
Песчаные дюны в центре штатов
Grand Sand Dunes - один из известных национальных парков штата Колорадо, для меня наравне с Mesa Verde.
В основном люди сюда едут ради видов, фотографий и катаний с песчаных холмов на «сэндборде» и «ледянках».
Планировалось тоже покататься, но ветер 17mph с порывами до 35mph, тяжело долго гулять: сильный холодный ветер и песок открывают новые грани страданий. Зато парк сегодня оказался бесплатным для посещения.
Обязательно иметь очки (желательно горнолыжные), маску, солнцезащитный крем и закрывать все места куда может попасть песок.
На 2 фотке кто-то разбил палатку в дюнах 😀
#CO
До переезда из Колорадо осталось меньше месяца, еще нет идей как будем переезжать вместе с мебелью, но нужно выполнить план по штату.
😃
Неизвестно когда сюда снова вернусь, давно хотел посетить один из национальных парков - Great Sand Dunes.
В одну сторону ехать 3,5 часа.
Зато первый раз оформил налоговую. Оказалось муторно, но не так сложно как представлял, предварительно даже денег обещают вернуть за прошлый год 🤞
#CO
Продолжение с выходной вылазки.
Недавно играл в red dead redemption 2, все это сильно напомнило декорации к игре - горы, ковбои, арабские скакуны, зимние американские пейзажи. 🤠
#CO
Caribou Ranch Open Space
Выбрались на выходные в горы. Народ ходит в снегоступах и на лыжах по маршруту. Довольно популярный трейл с заброшенными ранчо и шахтами добычи серебра.
Час езды от Денвера на запад.
#CO