Впервые использовал нейросетку для реальной практической пользы в коммерческом заказе.
У заказчика есть база данных, куда информация вносится кое-как. Представьте, что вы составляете каталог, например, книг, и в базе данных предусмотрены поля: "Автор книги", "Название книги", "Число страниц" и ещё десяток других полей с информацией. Но заполняют эту базу другие люди, которых вы не контролируете, поэтому информация может случайным образом лежать в любом произвольном поле, быть введена с ошибками, опечатками и так далее. В реальном заказе были не книги, я просто привожу пример такой же задачи.
Вот как это может выглядеть:
1. В поле "Автор" написано "Лондон, Дж. Белый Клык", поле "Название" при этом пустое.
2. В поле "Название" написано "150-страничный сборник рецептов", поле "Число страниц" пустое
3. В поле "Название" написано "джеклондон мартин иден", поле с автором пустое
4. В поле "Автор" написано "150-стр.3изд,доп.перераб инструкция по пользованию подстанциями типа ТП-13, М.Васильев москва 98"
...и так далее. А нужно искать нормально по автору, названию, числу страниц, городу и году издания. Никакими прямыми алгоритмами это не берётся: регулярки, поиск по ключевым словам, морфология, нечёткая логика — всё это либо даёт много ложноположительных результатов, либо (если подкрутить пороговые значения) вообще перестаёт искать.
И вот тут в какой-то момент мы решили попробовать запрашивать через API GPT. Нейросетке задаётся следующий промт:
"Есть следующая информация: «150-страничный роман джеклондон мартин иден». Если здесь есть то, что похоже на имя автора книги, напиши мне его, иначе ответь null". И, надо сказать, даже 3.5 справляется с этой работой очень хорошо. Получилось сравнительно без ошибок разметить около 80% данных (остальные с ошибками даже после нейросетки).
Но, важный нюанс. Сначала мы пытались поймать все данные одним запросом: "GPT, выведи мне JSON, в котором есть автор, название, число страниц...", но тесты показали, что значительно эффективнее будет отдельно спросить 5 раз про 5 разных типов данных. Да, это расходует больше токенов, но они и так сравнительно дёшевы.
Кстати, API у OpenAI безбожно глючит даже на платном тарифе. Обещанных 3500 запросов в минуту нет даже приблизительно. По факту удаётся отправлять около 200-300 запросов в минуту, потом оно вываливается в таймауты или ошибку 429, нужно делать какие-то умные паузы, ждать итд. Над этим всем пришлось повозиться, зато результат вполне ощутимый.
#dev
#Commentary: #Ethiopian National Dialogue Commission: Monolingual mediator in multilingual country
Established in 2021, the National Dialogue Commission (#NDC) is tasked with fostering inclusive dialogue, peace, and social cohesion in #Ethiopia. However, Mesfin Wodajo argues the Commission operates in a “de facto monolingual” manner in a country of more than eighty languages. Despite its commitment to inclusivity, he contends its heavy reliance on Amharic risks “alienating” large segments of the population.
Mesfin cautions that “language could constrain or empower participants in such national dialogues" and emphasizes that the absence of a clear translation and interpreting strategy reflects an “age-old ideology of implicit linguistic nationalism.”
He urges the NDC to “adopt a multilingual operational framework” to safeguard linguistic rights and ensure meaningful participation for all.
https://addisstandard.com/?p=55668
#Italia#Calabria#Catanzaro
#NdC|Centro presenterà una lista alle elezioni comunali di Catanzaro. Non è ancora chiaro chi sosterrà il partito di Mastella.
@UltimoraPolitics
❗️Il #Senato manda a processo Carlo #Calenda: era stato querelato per diffamazione da Clemente #Mastella (#NdC) per un post durante la campagna elettorale delle europee.
Il centrodestra si astiene, Calenda mandato a processo dagli alleati del campo largo.
@UltimoraPolitics
#Italia#Campania#Benevento
Il mastelliano Nino #Lombardi (#NdC) vince le elezioni provinciali col 73%, battuto il candidato di PD-Azione #Calzone, centrodestra assente. Esulta #Mastella: "Alle elezioni pronti ad andare da soli in tutta la Campania."
@UltimoraPolitics
#Italia🇮🇹
#Regionali
#Campania
❗️Roberto #Fico (#M5S|LEFT; sostenuto anche da #PD|S&D, #AVS|G/EFA|LEFT, #PSI|S&D, #PRI|Centro, #PSDI|Centro-sinistra; #Volt|G/EFA, #IV|RE, #PiùEu|RE, #nDC|Centro, #NS|Centro-destra, liste minori e civici) è stato eletto Presidente della Giunta regionale della Campania.
@TuttoElezioni
#Italia#Elezioni#Provinciali#Avellino
Il Tar di Salerno ha accolto il ricorso di Angelantonio D’Agostino disponendo l’annullamento delle operazioni elettorali concernenti l’elezione del Presidente della Provincia di Avellino relativamente alle fasce demografiche B e D e conseguente rinnovazione delle elezioni stesse limitatamente alle suddette fasce demografiche B e D.
Le elezioni del 2021 avevano visto la vittoria di Rino #Buonopane, sostenuto da #PD, #M5S, #SI e #NdC con il 50.05% contro Angelo Antonio #D’Agostino, sostenuto dalla maggioranza comunale ad Avellino, #Davvero, #IV, #PiùE e #Azione, che aveva ottenuto il 49,95%.
@UltimoraPolitics
#Italia#Campania#Provinciali
Provinciali #Caserta, dati finali - RICOSTRUZIONE ESCLUSIVA OsservatorioItaliano:
🔵 Centro destra per la Provincia di Caserta (#FdI-#FI-#Lega-#NM): 31.85% - 6 seggi
🟠 Campo Largo per Caserta (#PD-#AVS-#NdC-#IV): 21.42% - 4 seggi
🔵 Anacleto Colombiano Presidente (Civica centrodestra legata a Colombiano): 20.61% - 3 seggi
🟠#ATA|Deluchiani: 14.60% - 2 seggi
🔵 Liberi e Democratici per Caserta (#Azione-dissidenti #PSI legati al consigliere regionale Giovanni Iovino): 8.90% - 1 seggio
🟠 Avanti Caserta (#PSI): 2.63% - 0 seggi
*Nella giornata di domani verranno pubblicati i dati ufficiali
@OsservatorioItaliano
#Italia#Comunali#Campania
Comunali di #Salerno: De Luca spacca le coalizioni ed è un tutti contro tutti. Di seguito i candidati:
📌 Vincenzo #DeLuca, sostenuto da #PD, #PSI, #EV, #ATA e civiche deluchiane
📌 Franco Massimo #Lanocita, sostenuto da #M5S, #SI e civiche di sinistra
📌 Armando Zambrano, sostenuto da #Azione, #IV, #NdC, #PLD e #FI
📌 Gherardo Maria #Marenghi, sostenuto da #FdI, #Lega e #NM
📌 Mimmo Ventura, sostenuto da #AP e Dimensione Bandecchi
📌 Alessandro Turchi, civico
@OsservatorioItaliano