TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #851 · 2.08

Впервые использовал нейросетку для реальной практической пользы в коммерческом заказе. У заказчика есть база данных, куда информация вносится кое-как. Представьте, что вы составляете каталог, например, книг, и в базе данных предусмотрены поля: "Автор книги", "Название книги", "Число страниц" и ещё десяток других полей с информацией. Но заполняют эту базу другие люди, которых вы не контролируете, поэтому информация может случайным образом лежать в любом произвольном поле, быть введена с ошибками, опечатками и так далее. В реальном заказе были не книги, я просто привожу пример такой же задачи. Вот как это может выглядеть: 1. В поле "Автор" написано "Лондон, Дж. Белый Клык", поле "Название" при этом пустое. 2. В поле "Название" написано "150-страничный сборник рецептов", поле "Число страниц" пустое 3. В поле "Название" написано "джеклондон мартин иден", поле с автором пустое 4. В поле "Автор" написано "150-стр.3изд,доп.перераб инструкция по пользованию подстанциями типа ТП-13, М.Васильев москва 98" ...и так далее. А нужно искать нормально по автору, названию, числу страниц, городу и году издания. Никакими прямыми алгоритмами это не берётся: регулярки, поиск по ключевым словам, морфология, нечёткая логика — всё это либо даёт много ложноположительных результатов, либо (если подкрутить пороговые значения) вообще перестаёт искать. И вот тут в какой-то момент мы решили попробовать запрашивать через API GPT. Нейросетке задаётся следующий промт: "Есть следующая информация: «150-страничный роман джеклондон мартин иден». Если здесь есть то, что похоже на имя автора книги, напиши мне его, иначе ответь null". И, надо сказать, даже 3.5 справляется с этой работой очень хорошо. Получилось сравнительно без ошибок разметить около 80% данных (остальные с ошибками даже после нейросетки). Но, важный нюанс. Сначала мы пытались поймать все данные одним запросом: "GPT, выведи мне JSON, в котором есть автор, название, число страниц...", но тесты показали, что значительно эффективнее будет отдельно спросить 5 раз про 5 разных типов данных. Да, это расходует больше токенов, но они и так сравнительно дёшевы. Кстати, API у OpenAI безбожно глючит даже на платном тарифе. Обещанных 3500 запросов в минуту нет даже приблизительно. По факту удаётся отправлять около 200-300 запросов в минуту, потом оно вываливается в таймауты или ошибку 429, нужно делать какие-то умные паузы, ждать итд. Над этим всем пришлось повозиться, зато результат вполне ощутимый. #dev

Hashtags

Резултати

Намерени 1 подобни публикации

Търсене: #approaching

当前筛选 #approaching清除筛选
English Speakers

@English_Speakers · Post #3541 · 10.08.2018 г., 03:32

Important Five: Common Errors in the use of Prepositions 1) For #Days#, we use 'On', For Dates, we use 'On', For months we use, 'In', For seasons we use 'In', For a particular time, we use 'At'. For morning and evening, we use 'In'. For night, we use# 'At'.# #At:# at 7 o'clock; at midday; at dinner; at Christmas #In:# in the evening; in Easter week; in September; in (the) winter; in 1864; in the 20th century #On:# on Friday; on April 1st; on Christmas Day #Incorrect:# My brother completed the project in a month’s time. #Correct:# My brother completed the project in a month. #Incorrect:# We love to visit the nearest market on Sunday. #Correct:# We love to visit the nearest market on #Sundays.# 2)The verbs lack, approach and enter are directly followed by objects without prepositions. Other verbs that do not normally take prepositions are: discuss, marry and resemble. #Incorrect:# Although my sister is intelligent, she lacks of confidence. #Correct:# Although my sister is intelligent, she# lacks confidence.# #Incorrect:# The train is now approaching to my city. #Correct:# The train is now #approaching my city.# #Incorrect:# The boys were not allowed to enter into the house. #Correct:# The boys were not allowed to #enter the house.# 3) The prepositions #in# and #on# are used to show position. To say where things are going, we use #into# and #onto.# #Incorrect: #The ball rolled slowly in the goal. #Correct:# The ball rolled slowly# into# the goal. #Incorrect:# She ran in the room crying. #Correct:# She ran #into# the room crying. 4) We use #in# to say how soon something will happen. #Within# means ‘inside’ or ‘not beyond’. #Incorrect:# The train will arrive #within# six minutes. #Correct:# The train will arrive# in# six minutes. #Incorrect#: You need to complete this book in a month. #Correct:# You need to complete this book within a month. #Incorrect:# If you don’t live by your income, you will have to pay huge debts. #Correct:# If you don’t live# within# your income, you will have to pay huge debts. 5) #Through# is used for movement in a three-dimensional space. #Incorrect:# The ball went #to# the window and fell on the ground. #Correct#: The ball went #through# the window and fell on the ground.