TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #851 · 2.08

Впервые использовал нейросетку для реальной практической пользы в коммерческом заказе. У заказчика есть база данных, куда информация вносится кое-как. Представьте, что вы составляете каталог, например, книг, и в базе данных предусмотрены поля: "Автор книги", "Название книги", "Число страниц" и ещё десяток других полей с информацией. Но заполняют эту базу другие люди, которых вы не контролируете, поэтому информация может случайным образом лежать в любом произвольном поле, быть введена с ошибками, опечатками и так далее. В реальном заказе были не книги, я просто привожу пример такой же задачи. Вот как это может выглядеть: 1. В поле "Автор" написано "Лондон, Дж. Белый Клык", поле "Название" при этом пустое. 2. В поле "Название" написано "150-страничный сборник рецептов", поле "Число страниц" пустое 3. В поле "Название" написано "джеклондон мартин иден", поле с автором пустое 4. В поле "Автор" написано "150-стр.3изд,доп.перераб инструкция по пользованию подстанциями типа ТП-13, М.Васильев москва 98" ...и так далее. А нужно искать нормально по автору, названию, числу страниц, городу и году издания. Никакими прямыми алгоритмами это не берётся: регулярки, поиск по ключевым словам, морфология, нечёткая логика — всё это либо даёт много ложноположительных результатов, либо (если подкрутить пороговые значения) вообще перестаёт искать. И вот тут в какой-то момент мы решили попробовать запрашивать через API GPT. Нейросетке задаётся следующий промт: "Есть следующая информация: «150-страничный роман джеклондон мартин иден». Если здесь есть то, что похоже на имя автора книги, напиши мне его, иначе ответь null". И, надо сказать, даже 3.5 справляется с этой работой очень хорошо. Получилось сравнительно без ошибок разметить около 80% данных (остальные с ошибками даже после нейросетки). Но, важный нюанс. Сначала мы пытались поймать все данные одним запросом: "GPT, выведи мне JSON, в котором есть автор, название, число страниц...", но тесты показали, что значительно эффективнее будет отдельно спросить 5 раз про 5 разных типов данных. Да, это расходует больше токенов, но они и так сравнительно дёшевы. Кстати, API у OpenAI безбожно глючит даже на платном тарифе. Обещанных 3500 запросов в минуту нет даже приблизительно. По факту удаётся отправлять около 200-300 запросов в минуту, потом оно вываливается в таймауты или ошибку 429, нужно делать какие-то умные паузы, ждать итд. Над этим всем пришлось повозиться, зато результат вполне ощутимый. #dev

Hashtags

Резултати

Намерени 959 подобни публикации

Търсене: #ml

当前筛选 #ml清除筛选
Repositorio data science

@repo_science · Post #3688 · 03.11.2023 г., 12:00

#ML 😎 FREE RESOURCES TO LEARN MACHINE LEARNING Intro to ML by MIT Free Course Machine Learning for Everyone FREE BOOK ML Crash Course by Google Advanced Machine Learning with Python Github Practical Machine Learning Tools and Techniques Free Book Python Machine Learning for beginners ----- Main channel: @repo_science Coupons: @freecoupons_reposcience -----

Hashtags

Repositorio data science

@repo_science · Post #3447 · 17.07.2023 г., 15:14

#ML 🧠 Machine Learning Expert El aprendizaje automático es un vasto campo con muchos conceptos clave que conocer. Nuestro curso intensivo cubre todos los componentes básicos que necesita para sumergirse en el aprendizaje automático del mundo real. ✍️Ryan Doan | Ex-Amazon ML Infrastructure Engineer 🌐En 📆2022 🔗Link ----- Main channel:@repo_science Coupons:@freecoupons_reposcience -----

Hashtags

Am Neumarkt 😱

@amneumarkt · Post #617 · 25.08.2024 г., 14:03

#ml What’s Really Going On in Machine Learning? Some Minimal Models—Stephen Wolfram Writings https://writings.stephenwolfram.com/2024/08/whats-really-going-on-in-machine-learning-some-minimal-models/

Hashtags

Am Neumarkt 😱

@amneumarkt · Post #538 · 16.02.2024 г., 11:21

#ml Like a dictionary Kunc, Vladim’ir, and Jivr’i Kl’ema. 2024. “Three Decades of Activations: A Comprehensive Survey of 400 Activation Functions for Neural Networks.” arXiv [Cs.LG], February. http://arxiv.org/abs/2402.09092.

Hashtags

Am Neumarkt 😱

@amneumarkt · Post #532 · 09.02.2024 г., 05:35

#ml I got interested in satellite data last year and played with it a bit. It's fantastic. The spatiotemporal nature of it brings up a lot of interesting questions. Then I saw this paper today: Rolf, Esther, Konstantin Klemmer, Caleb Robinson, and Hannah Kerner. 2024. “Mission Critical -- Satellite Data Is a Distinct Modality in Machine Learning.” arXiv [Cs.LG], February. http://arxiv.org/abs/2402.01444.

Hashtags

Am Neumarkt 😱

@amneumarkt · Post #531 · 05.02.2024 г., 10:57

#ml Jelassi S, Brandfonbrener D, Kakade SM, Malach E. Repeat after me: Transformers are better than state space models at copying. arXiv [cs.LG]. 2024. Available: http://arxiv.org/abs/2402.01032 Not surprising at all when you have direct access to a long context. But hey, look at this title.

Hashtags

123•••5•••10•••15•••20•••25•••30•••35•••40•••45•••50•••55•••60•••65•••70•••75•••7980
ПредишнаСтр. 1 от 80Следваща