Впервые использовал нейросетку для реальной практической пользы в коммерческом заказе.
У заказчика есть база данных, куда информация вносится кое-как. Представьте, что вы составляете каталог, например, книг, и в базе данных предусмотрены поля: "Автор книги", "Название книги", "Число страниц" и ещё десяток других полей с информацией. Но заполняют эту базу другие люди, которых вы не контролируете, поэтому информация может случайным образом лежать в любом произвольном поле, быть введена с ошибками, опечатками и так далее. В реальном заказе были не книги, я просто привожу пример такой же задачи.
Вот как это может выглядеть:
1. В поле "Автор" написано "Лондон, Дж. Белый Клык", поле "Название" при этом пустое.
2. В поле "Название" написано "150-страничный сборник рецептов", поле "Число страниц" пустое
3. В поле "Название" написано "джеклондон мартин иден", поле с автором пустое
4. В поле "Автор" написано "150-стр.3изд,доп.перераб инструкция по пользованию подстанциями типа ТП-13, М.Васильев москва 98"
...и так далее. А нужно искать нормально по автору, названию, числу страниц, городу и году издания. Никакими прямыми алгоритмами это не берётся: регулярки, поиск по ключевым словам, морфология, нечёткая логика — всё это либо даёт много ложноположительных результатов, либо (если подкрутить пороговые значения) вообще перестаёт искать.
И вот тут в какой-то момент мы решили попробовать запрашивать через API GPT. Нейросетке задаётся следующий промт:
"Есть следующая информация: «150-страничный роман джеклондон мартин иден». Если здесь есть то, что похоже на имя автора книги, напиши мне его, иначе ответь null". И, надо сказать, даже 3.5 справляется с этой работой очень хорошо. Получилось сравнительно без ошибок разметить около 80% данных (остальные с ошибками даже после нейросетки).
Но, важный нюанс. Сначала мы пытались поймать все данные одним запросом: "GPT, выведи мне JSON, в котором есть автор, название, число страниц...", но тесты показали, что значительно эффективнее будет отдельно спросить 5 раз про 5 разных типов данных. Да, это расходует больше токенов, но они и так сравнительно дёшевы.
Кстати, API у OpenAI безбожно глючит даже на платном тарифе. Обещанных 3500 запросов в минуту нет даже приблизительно. По факту удаётся отправлять около 200-300 запросов в минуту, потом оно вываливается в таймауты или ошибку 429, нужно делать какие-то умные паузы, ждать итд. Над этим всем пришлось повозиться, зато результат вполне ощутимый.
#dev
😄Character
➖➖➖➖➖➖
Character is a noun and it can mean:
🔘 'a person in a book or a film'
🔜The best friend is my favourite character.
🔘‘the quality that makes someone who they are’.
🔜He has a forgiving character.
🔘someone who is mentally strong can 'have a lot of character' or 'be a strong character'.
🔜She'll be a great manager; she has a lot of character.
🔜You'll need to be a strong character to get through this challenge.
🔘‘the quality that makes places and things interesting, different or attractive’.
🔜It's a beautiful village, full of character.
#Character👨🏫@America
➖➖➖➖➖➖➖➖➖➖➖➖
🆕 Crypto News @Money
😁 Crypto Game @Egame
🇺🇸 US News @America
🇯🇵 Japan News @Japan
🇦🇪 UAE News @Dubai
▶️ Popular Movies @Videos
😜 Best Funny Video @Funnys
Discord @casajordi Midjourney #character Photography, masterpiece of black and white soft portrait photography, art by Irving Penn A chic Bengal Tiger with fashion dress, clothes by Balenciaga, ultra realistic minimalist fashion photography, art by mario testino for vogue, chic, elegant, haute couture, natural light, minimalist background
@midjourney • @midjourney_ru
Discord @madhutungnirun Midjourney #character art russia, angel, portrait, painting, art deco, russianart, french art digital painting, in the style of light sky-blue and light gold,, photorealistic fantasies, princesscore, elegant, emotive faces, rococo portraitures, close up, soft, romantic scenes
@midjourney • @midjourney_ru
Discord @y0844 Midjourney #character cute monkey monster wearing Chinese martial arts costumes, Chinese Wuxia, Chinese painting style, cartoon IP, movie lights, clean white background, advanced color scheme, octane rendering, full body, Extreme detail, Kung Fu, surrealism, 3D, Behance, Pinterest, trendy blind box toys, award winning
@midjourney • @midjourney_ru
Discord @johnjbamboo Midjourney #character color streetphotography of a person in Shanghai, in the style of Magnum Photo with motion blur and foreground blur, reflections
@midjourney • @midjourney_ru
Discord @apptist Midjourney #character A cute, simple toy-like pink hippo face with a white background. The hippo's mouth is wide open, showing smooth, toothless gums. It has big, expressive eyes, a rounded snout, and a cheerful expression. The face is bright pink and smooth, with no body parts visible. The design is playful and inviting for a children's game
🐟 t.me/midjourney_ru
🐽t.me/midjourney_character
🐟t.me/midjourney_dark
Discord @centaur509 Midjourney #character Studio portrait photography of an old indian woman on a dark background, wearing a white shirt, with projection mapping onto her back. The image projected onto the back is a crowd of people
@midjourney • @midjourney_ru
Discord @superpedro4711 Midjourney #character etherreal ultra realistic futuristic eloquent cute adorable small Flying Squirrels with a huge human smile and big beautiful dreamy eyes eating Layer rice, sweet and sour chicken, pineapple chunks, and bell peppers. Top with sesame seeds and green onion, sitting in fantasy world, dark blue-purple sparkling tones background, lens flare, diffused lighting, fantasy, intricate, highly detailed, lifelike, concept art
@midjourney • @midjourney_ru