TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #851 · 2.08

Впервые использовал нейросетку для реальной практической пользы в коммерческом заказе. У заказчика есть база данных, куда информация вносится кое-как. Представьте, что вы составляете каталог, например, книг, и в базе данных предусмотрены поля: "Автор книги", "Название книги", "Число страниц" и ещё десяток других полей с информацией. Но заполняют эту базу другие люди, которых вы не контролируете, поэтому информация может случайным образом лежать в любом произвольном поле, быть введена с ошибками, опечатками и так далее. В реальном заказе были не книги, я просто привожу пример такой же задачи. Вот как это может выглядеть: 1. В поле "Автор" написано "Лондон, Дж. Белый Клык", поле "Название" при этом пустое. 2. В поле "Название" написано "150-страничный сборник рецептов", поле "Число страниц" пустое 3. В поле "Название" написано "джеклондон мартин иден", поле с автором пустое 4. В поле "Автор" написано "150-стр.3изд,доп.перераб инструкция по пользованию подстанциями типа ТП-13, М.Васильев москва 98" ...и так далее. А нужно искать нормально по автору, названию, числу страниц, городу и году издания. Никакими прямыми алгоритмами это не берётся: регулярки, поиск по ключевым словам, морфология, нечёткая логика — всё это либо даёт много ложноположительных результатов, либо (если подкрутить пороговые значения) вообще перестаёт искать. И вот тут в какой-то момент мы решили попробовать запрашивать через API GPT. Нейросетке задаётся следующий промт: "Есть следующая информация: «150-страничный роман джеклондон мартин иден». Если здесь есть то, что похоже на имя автора книги, напиши мне его, иначе ответь null". И, надо сказать, даже 3.5 справляется с этой работой очень хорошо. Получилось сравнительно без ошибок разметить около 80% данных (остальные с ошибками даже после нейросетки). Но, важный нюанс. Сначала мы пытались поймать все данные одним запросом: "GPT, выведи мне JSON, в котором есть автор, название, число страниц...", но тесты показали, что значительно эффективнее будет отдельно спросить 5 раз про 5 разных типов данных. Да, это расходует больше токенов, но они и так сравнительно дёшевы. Кстати, API у OpenAI безбожно глючит даже на платном тарифе. Обещанных 3500 запросов в минуту нет даже приблизительно. По факту удаётся отправлять около 200-300 запросов в минуту, потом оно вываливается в таймауты или ошибку 429, нужно делать какие-то умные паузы, ждать итд. Над этим всем пришлось повозиться, зато результат вполне ощутимый. #dev

Hashtags

Резултати

Намерени 2 подобни публикации

Търсене: #financialdata

当前筛选 #financialdata清除筛选
Data Science Jobs

@datasciencejobs · Post #1996 · 03.04.2024 г., 08:03

#DataEngineer#ContractPosition#Remote#SQL#BigData#FinancialData#Python#BigQ#Looker#Snowflake Разыскиваем #DataEngineer на работу по контракту с крупной американской венчурной компанией. Контракт на 6 месяцев с возможностью перезаключения договора. Предпочтительна возможность работать в их часовых поясах, но возможны варианты. Стек технологий: GCP, ETL, Snowflake, BigQ, Python, Looker (нужен full stack) Английский B2 и выше – условие обязательное. Работать за пределами России и Беларуси - условие обязательное. Зарплата $5000 – 6500 NET Для связи: https://t.me/Tary_bird Description of the Data Engineer contract position: Location: Preferably San Francisco Bay Area, or remotely in the Pacific or Central Time zone. Company: A large venture company with assets of over $11 billion and employees in Austin, London, Menlo Park, and San Francisco. What you will be doing: As a data engineer, you will report to the head of data and analytics and help create the entire data structure and infrastructure supporting operations. Responsibilities: Design, create, and maintain the data infrastructure necessary for optimal extraction, transformation, and loading of data from various data sources using SQL, NoSQL, and big data technologies. Develop and implement data collection systems that integrate various sources such as company proprietary data and third-party data sources, etc. Create an automated process for collecting and visualizing user engagement data from CRM/UI. What we are looking for: Qualifications: • Experience of at least 3 years as a data engineer or full stack in the field of data warehousing, data monitoring, and building and maintaining ETL pipelines. • Valid experience with the Google cloud platform (GCP). • Deep experience with data pipeline and workflow management tools (e.g., Airflow). • Solid knowledge and experience with database design, setup, and maintenance. • Proven ability to work in highly dynamic environments with high product velocity. • Strong proficiency in Python. • Strong proficiency in SQL. • Familiarity with data visualization tools (Looker ). • Experience with Snowflake. • Experience with BigQuery. • Strong communication skills, both orally and in writing. • Familiarity with CRM (Affinity, Salesforce), automation tools (Zapier) Bonus points: • Experience in venture capital data operations/working with financial data. • Familiarity with CRM (Affinity, Salesforce), automation tools (Zapier). • Bachelor's or master's degree in computer science, database management, etc.

Crypto M - Crypto News

@CryptoM · Post #64770 · 09.04.2026 г., 21:12

🚀 Android SDK Vulnerability Poses Risk to Crypto Wallet Apps A vulnerability in an Android Software Development Kit (SDK) could potentially expose sensitive data from crypto wallet applications, according to Microsoft Defender researchers. The flaw, which affects apps downloaded over 30 million times, may lead to the leakage of personally identifiable information, user credentials, and financial data. According to NS3.AI, there have been no reported instances of attackers exploiting this vulnerability so far. #AndroidSDK#vulnerability#cryptowallet#MicrosoftDefender#NS3AI#dataleak#personallyidentifiableinformation#usercredentials#financialdata#cybersecurity