TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #851 · 2.08

Впервые использовал нейросетку для реальной практической пользы в коммерческом заказе. У заказчика есть база данных, куда информация вносится кое-как. Представьте, что вы составляете каталог, например, книг, и в базе данных предусмотрены поля: "Автор книги", "Название книги", "Число страниц" и ещё десяток других полей с информацией. Но заполняют эту базу другие люди, которых вы не контролируете, поэтому информация может случайным образом лежать в любом произвольном поле, быть введена с ошибками, опечатками и так далее. В реальном заказе были не книги, я просто привожу пример такой же задачи. Вот как это может выглядеть: 1. В поле "Автор" написано "Лондон, Дж. Белый Клык", поле "Название" при этом пустое. 2. В поле "Название" написано "150-страничный сборник рецептов", поле "Число страниц" пустое 3. В поле "Название" написано "джеклондон мартин иден", поле с автором пустое 4. В поле "Автор" написано "150-стр.3изд,доп.перераб инструкция по пользованию подстанциями типа ТП-13, М.Васильев москва 98" ...и так далее. А нужно искать нормально по автору, названию, числу страниц, городу и году издания. Никакими прямыми алгоритмами это не берётся: регулярки, поиск по ключевым словам, морфология, нечёткая логика — всё это либо даёт много ложноположительных результатов, либо (если подкрутить пороговые значения) вообще перестаёт искать. И вот тут в какой-то момент мы решили попробовать запрашивать через API GPT. Нейросетке задаётся следующий промт: "Есть следующая информация: «150-страничный роман джеклондон мартин иден». Если здесь есть то, что похоже на имя автора книги, напиши мне его, иначе ответь null". И, надо сказать, даже 3.5 справляется с этой работой очень хорошо. Получилось сравнительно без ошибок разметить около 80% данных (остальные с ошибками даже после нейросетки). Но, важный нюанс. Сначала мы пытались поймать все данные одним запросом: "GPT, выведи мне JSON, в котором есть автор, название, число страниц...", но тесты показали, что значительно эффективнее будет отдельно спросить 5 раз про 5 разных типов данных. Да, это расходует больше токенов, но они и так сравнительно дёшевы. Кстати, API у OpenAI безбожно глючит даже на платном тарифе. Обещанных 3500 запросов в минуту нет даже приблизительно. По факту удаётся отправлять около 200-300 запросов в минуту, потом оно вываливается в таймауты или ошибку 429, нужно делать какие-то умные паузы, ждать итд. Над этим всем пришлось повозиться, зато результат вполне ощутимый. #dev

Hashtags

Резултати

Намерени 69 подобни публикации

Търсене: #september

当前筛选 #september清除筛选

Wikipedia每日一图(#September 29, 2025)https://ift.tt/FQ5hyn8 Fall of the Rebel Angels is a fresco by Giacinto Brandi adorning the central vault of Sant'Ambrogio e Carlo al Corso basilica in Rome. It depicts Michael the Archangel's victory in battle over fallen angels. Today is Michaelmas.. 了解更多 . #Wikipedia每日一图

Wikipedia每日一图(#September 28, 2025)https://ift.tt/Jhp6sa7 French chemist and microbiologist Louis Pasteur photographed by Nadar. Renowned for his scientific discoveries, he saved millions by developing vaccines for rabies and anthrax, as well as the process of pasteurization. He died on this day 130 years ago.. 了解更多 . #Wikipedia每日一图

Wikipedia每日一图(#September 27, 2025)https://ift.tt/suPWQxz Panoramic view of the west bank of Nigeen Lake in Srinagar, India, with the distant Middle Himalayan Pir Panjal mountain range in the background. The city, situated on the banks of the Jhelum river and several lakes in the Himalayan Kashmir Valley, is the summer capital of Jammu and Kashmir and the northernmost million-plus city of India.. 了解更多 . #Wikipedia每日一图

Wikipedia每日一图(#September 26, 2025)https://ift.tt/0kyxNdY An image of Arab twin brothers Saints Cosmas and Damian from the Grandes Heures of Anne of Brittany. As ancient physicians, they are depicted holding tools of their profession. Today is their feast day on the General Roman Calendar.. 了解更多 . #Wikipedia每日一图

123•••56
ПредишнаСтр. 1 от 6Следваща