TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #851 · 2.08

Впервые использовал нейросетку для реальной практической пользы в коммерческом заказе. У заказчика есть база данных, куда информация вносится кое-как. Представьте, что вы составляете каталог, например, книг, и в базе данных предусмотрены поля: "Автор книги", "Название книги", "Число страниц" и ещё десяток других полей с информацией. Но заполняют эту базу другие люди, которых вы не контролируете, поэтому информация может случайным образом лежать в любом произвольном поле, быть введена с ошибками, опечатками и так далее. В реальном заказе были не книги, я просто привожу пример такой же задачи. Вот как это может выглядеть: 1. В поле "Автор" написано "Лондон, Дж. Белый Клык", поле "Название" при этом пустое. 2. В поле "Название" написано "150-страничный сборник рецептов", поле "Число страниц" пустое 3. В поле "Название" написано "джеклондон мартин иден", поле с автором пустое 4. В поле "Автор" написано "150-стр.3изд,доп.перераб инструкция по пользованию подстанциями типа ТП-13, М.Васильев москва 98" ...и так далее. А нужно искать нормально по автору, названию, числу страниц, городу и году издания. Никакими прямыми алгоритмами это не берётся: регулярки, поиск по ключевым словам, морфология, нечёткая логика — всё это либо даёт много ложноположительных результатов, либо (если подкрутить пороговые значения) вообще перестаёт искать. И вот тут в какой-то момент мы решили попробовать запрашивать через API GPT. Нейросетке задаётся следующий промт: "Есть следующая информация: «150-страничный роман джеклондон мартин иден». Если здесь есть то, что похоже на имя автора книги, напиши мне его, иначе ответь null". И, надо сказать, даже 3.5 справляется с этой работой очень хорошо. Получилось сравнительно без ошибок разметить около 80% данных (остальные с ошибками даже после нейросетки). Но, важный нюанс. Сначала мы пытались поймать все данные одним запросом: "GPT, выведи мне JSON, в котором есть автор, название, число страниц...", но тесты показали, что значительно эффективнее будет отдельно спросить 5 раз про 5 разных типов данных. Да, это расходует больше токенов, но они и так сравнительно дёшевы. Кстати, API у OpenAI безбожно глючит даже на платном тарифе. Обещанных 3500 запросов в минуту нет даже приблизительно. По факту удаётся отправлять около 200-300 запросов в минуту, потом оно вываливается в таймауты или ошибку 429, нужно делать какие-то умные паузы, ждать итд. Над этим всем пришлось повозиться, зато результат вполне ощутимый. #dev

Hashtags

Резултати

Намерени 36 подобни публикации

Търсене: #part1fall2020

当前筛选 #part1fall2020清除筛选
DLS — новости

@deep_learning_school_news · Post #249 · 07.02.2021 г., 10:38

#part1fall2020 Решили продлить дедлайн по проектам первой и второй частей на неделю (раз мы все равно пока проверяем домашки) Деллайны скоро обновятся и на Степике. Если вы уже послали проект в форму, согласуйте с руководителем проекта формат досдачи.

DLS — новости

@deep_learning_school_news · Post #246 · 04.02.2021 г., 14:40

#part1fall2020 Добрый вечер! Обращаемся к тем, кто сейчас заканчивает первую часть курса. Мы уже делали опрос о промежуточных итогах курса. Теперь, когда все занятия уже выложены, очень просим вас пройти финальный опрос. Напишите ваши самые важные мысли по занятиям в текстовые поля. Нам очень важен ваш фидбек, чтобы сделать курс лучше. Если по некоторым занятиям вам сказать нечего, это не страшно, далеко не все вопросы обязательные. Заранее спасибо!

DLS — новости

@deep_learning_school_news · Post #245 · 27.01.2021 г., 12:42

#part1fall2020 Мы выложили на Степик ещё несколько дополнительных модулей для обоих потоков! Среди прочего там есть лекции от компании Яндекс, а также лекция от Kaggle-мастера Владислава Шахрая о том, как побеждать в конкурсах по анализу данных. Смотрим!

DLS — новости

@deep_learning_school_news · Post #242 · 06.01.2021 г., 23:47

#part1fall2020 Всем привет! Как те, кто был на вебинаре, уже знают, мы решили перенести дедлайн по выбору итоговых проектов на 10 января. Срок выполнения проектов мы продлеваем до 7 февраля, 23:59. Срок выполнения последнего домашнего задания для продвинутого потока продлён до 17 января, 23:59 Кроме того, для тех, кто уже зарегистрировался, мы выкладываем список назначенных проектов. Заходите в соответствующий чат в Slack и начинайте работу! Почти во всех чатах уже появилась вступительная информация к выполнению. Тем, кто ещё не выбирал проекты, советуем поскорее определиться и заполнить форму. Предлагаем вам записываться на один проект и сразу начинать работу по нему, чтобы не ждать результатов распределения

DLS — новости

@deep_learning_school_news · Post #241 · 04.01.2021 г., 16:42

#part1fall2020 Всем привет! Напоминаем, что через 20 минут состоится трансляция с ответами на вопросы о последних занятиях курса и итоговых проектах. Вопросы можно задать в комментариях к предыдущему посту в этом канале, а также во время трансляции в чате youtube. Ссылка на трансляцию

DLS — новости

@deep_learning_school_news · Post #240 · 03.01.2021 г., 14:34

#part1fall2020 Всем привет! Завтра в 20:00 мы проведём вебинар по последним темам курса, а также про выполнение итогового проекта. Ссылка на вебинар появится здесь. Вы можете задать волнующие вас вопросы к вебинару в комментариях к этому посту или на самом мероприятии

DLS — новости

@deep_learning_school_news · Post #238 · 02.01.2021 г., 01:45

#part1fall2020 Всем привет! На Stepik появилось много всего интересного: например, новые модули у базового и продвинутого потоков, которые помогут вам выполнить итоговые проекты, а также сама новость об итоговом проекте (в последнем модуле курса) Кроме того, мы создали в Slack чаты для выполнения проектов. После регистрации на проекты обязательно выбирайте чат с вашей тематикой и вступайте. Напоминаем, что дедлайн по регистрации на проекты — вечер 5 января

DLS — новости

@deep_learning_school_news · Post #234 · 24.12.2020 г., 10:52

#part1fall2020 Всем привет! Вслед за проектами второй части, выкладываем долгожданную информацию о заключительных проектах курса на первой части! Все необходимые сведения есть в текстовом документе. Для записи на проект обязательно заполните форму регистрации.

DLS — новости

@deep_learning_school_news · Post #230 · 13.12.2020 г., 02:14

#part1fall2020 Всем привет! Хотим рассказать о том, как будет устроено окончание семестра для базового и продвинутого потоков. — У базового потока появилось новое домашнее задание. Дедлайн по нему: 31 декабря 23:59:) — У продвинутого потока появился новый модуль по детекции. Впереди у базового и продвинутого потоков будет ещё по одному домашнему заданию, дедлайн у которого будет уже в январе. Также обоим потокам предстоит выполнение итогового проекта. Темы проектов будут известны в ближайшее время: мы надеемся, что успеем сфорировать полный список в середине следующей недели. После публикации списка тем у вас будет чуть больше недели, чттобы выбрать тему проекта. Выполнение проектов продлится до второй половины января. Всем хорошего окончания курса! Скоро мы напишем о предварительных порогах для получения дипломов.

DLS — новости

@deep_learning_school_news · Post #223 · 30.11.2020 г., 22:34

#part1fall2020 Позади осталась большая часть курса! В связи с этим мы хотели бы спросить ваше мнение о пройденном материале: что вам понравилось, что не понравилось, какие темы были легкими, какие — сложными. Пожалуйста, заполните анкету по ссылке. Это очень поможет нам сделать курс лучше в следующие запуски. В том числе нам ценно мнение тех, кто по какой-то причине курс не закончил.

DLS — новости

@deep_learning_school_news · Post #218 · 24.11.2020 г., 12:48

#part1fall2020 В связи с событиями во Владивостоке (полгорода без света), решили подвинуть дедлайн по домашнему заданию "Решение ML-задачи и Kaggle" на базовом потоке слегка вперёд. Теперь мягкий дедлайн — 28.11, жёсткий — 01.12.

DLS — новости

@deep_learning_school_news · Post #212 · 18.11.2020 г., 09:53

#part1fall2020 Всем привет! Выложили новые модули для базового и продвинутого потока, а также домашнее задание для продвинутого потока. Дедлайн домашнего задания — 3 декабря. Задание снова представляет собой контест на Kaggle.com. Советуем приступать к выполнению заранее. Для базового потока на этой неделе домашнего задания не будет, зато будет на следующей неделе.

ПредишнаСтр. 1 от 3Следваща