Впервые использовал нейросетку для реальной практической пользы в коммерческом заказе.
У заказчика есть база данных, куда информация вносится кое-как. Представьте, что вы составляете каталог, например, книг, и в базе данных предусмотрены поля: "Автор книги", "Название книги", "Число страниц" и ещё десяток других полей с информацией. Но заполняют эту базу другие люди, которых вы не контролируете, поэтому информация может случайным образом лежать в любом произвольном поле, быть введена с ошибками, опечатками и так далее. В реальном заказе были не книги, я просто привожу пример такой же задачи.
Вот как это может выглядеть:
1. В поле "Автор" написано "Лондон, Дж. Белый Клык", поле "Название" при этом пустое.
2. В поле "Название" написано "150-страничный сборник рецептов", поле "Число страниц" пустое
3. В поле "Название" написано "джеклондон мартин иден", поле с автором пустое
4. В поле "Автор" написано "150-стр.3изд,доп.перераб инструкция по пользованию подстанциями типа ТП-13, М.Васильев москва 98"
...и так далее. А нужно искать нормально по автору, названию, числу страниц, городу и году издания. Никакими прямыми алгоритмами это не берётся: регулярки, поиск по ключевым словам, морфология, нечёткая логика — всё это либо даёт много ложноположительных результатов, либо (если подкрутить пороговые значения) вообще перестаёт искать.
И вот тут в какой-то момент мы решили попробовать запрашивать через API GPT. Нейросетке задаётся следующий промт:
"Есть следующая информация: «150-страничный роман джеклондон мартин иден». Если здесь есть то, что похоже на имя автора книги, напиши мне его, иначе ответь null". И, надо сказать, даже 3.5 справляется с этой работой очень хорошо. Получилось сравнительно без ошибок разметить около 80% данных (остальные с ошибками даже после нейросетки).
Но, важный нюанс. Сначала мы пытались поймать все данные одним запросом: "GPT, выведи мне JSON, в котором есть автор, название, число страниц...", но тесты показали, что значительно эффективнее будет отдельно спросить 5 раз про 5 разных типов данных. Да, это расходует больше токенов, но они и так сравнительно дёшевы.
Кстати, API у OpenAI безбожно глючит даже на платном тарифе. Обещанных 3500 запросов в минуту нет даже приблизительно. По факту удаётся отправлять около 200-300 запросов в минуту, потом оно вываливается в таймауты или ошибку 429, нужно делать какие-то умные паузы, ждать итд. Над этим всем пришлось повозиться, зато результат вполне ощутимый.
#dev
☝️Вице-премьер правительства Испании и министр труда Йоланда Диас (на фото) официально объявила, что не будет баллотироваться на выборах 2027 года и не возглавит новую левую коалицию, которая должна прийти на смену бренду Sumar, сообщает El Mundo. Она подчёркнула, что её решение «очень обдуманное».
По оценке El Mundo, она «уступает внутреннему давлению» со стороны партнёров по пространству Sumar, которые требовали обновления лиц и стратегии. Внутри Movimiento Sumar, Izquierda Unida, Más Madrid и Comuns уже давно зрело убеждение, что «обновление должно начаться с самого лидерства» после того, как проект Диас не смог объединить весь левый фланг и оказался измотан внутренними конфликтами и разрывом с Podemos.
▫️Новая коалиция (вокруг Movimiento Sumar, Izquierda Unida, Más Madrid и Comuns) теперь вынуждена искать новое лицо и новый баланс сил перед выборами 2027 года: отказ Диас снимает неопределённость, но одновременно открывает борьбу за наследие проекта, который в 2023 году сумел собрать 31 мандат и обеспечить коалиционное правительство с PSOE.
@amigokonon#partidos#Sumar
Тем временем государственный Центр социологических исследований (CIS) опубликовал сегодня результаты февральского опроса общественного мнения, по которому социалисты значительно наращивают свой отрыв от оппонентов-консерваторов. По оценке CIS, правящая партия PSOE набирает 32,6% голосов, тогда как оппозиционная Partido Popular — всего 22,9%, и разрыв между ними увеличивается уже до 9,7 пункта (месяц назад было 8,7 пункта).
Ультраправая партия Vox, согласно опросу, показывает 18,9% (на прошлых всеобщих парламентских выборах она набрала 12,39% голосов избирателей). Левая платформа Sumar теряет две десятые доли процента, продолжая тенденцию постепенного ослабления на левом фланге.
▫️Многие в Испании относятся к данным государственной социологической службы CIS не как к «нейтральной статистике», а как к ещё одному инструменту политической борьбы. Правая оппозиция систематически критикует CIS, особенно с тех пор, как его возглавляет бывший член руководства PSOE Хосе Феликс Тесанос (José Félix Tezanos).
@amigokonon#partidos#Sumar#PP#PSOE#Vox
#Spagna
Ricordiamo che stasera dalle 22:00 seguiremo il dibattito a tre tra Pedro #Sánchez (#PSOE|S&D), Santiago #Abascal (#Vox|ECR) e Yolanda #Díaz (#Sumar|LEFT).
@OsservatorioEsteri
#Sondaggi#Spagna
Media finale degli ultimi sondaggi:
#PP|EPP: 34%
#PSOE|S&D: 28%
#Sumar (#IU-#Podemos-#MP-#eQuo-#AV-#Compromís)|LEFT|G/EFA: 13%
#Vox|ECR: 13%
Totale seggi: 350
Maggioranza: 176
@OsservatorioEsteri