TGTGInsightтелеграм анализLIVE / telegram public index
← Такты, стеки, два колеса

TGINSIGHT SIMILAR POSTS

Намери подобно съдържание

Изходен канал @clockstackwheels · Post #851 · 2.08

Впервые использовал нейросетку для реальной практической пользы в коммерческом заказе. У заказчика есть база данных, куда информация вносится кое-как. Представьте, что вы составляете каталог, например, книг, и в базе данных предусмотрены поля: "Автор книги", "Название книги", "Число страниц" и ещё десяток других полей с информацией. Но заполняют эту базу другие люди, которых вы не контролируете, поэтому информация может случайным образом лежать в любом произвольном поле, быть введена с ошибками, опечатками и так далее. В реальном заказе были не книги, я просто привожу пример такой же задачи. Вот как это может выглядеть: 1. В поле "Автор" написано "Лондон, Дж. Белый Клык", поле "Название" при этом пустое. 2. В поле "Название" написано "150-страничный сборник рецептов", поле "Число страниц" пустое 3. В поле "Название" написано "джеклондон мартин иден", поле с автором пустое 4. В поле "Автор" написано "150-стр.3изд,доп.перераб инструкция по пользованию подстанциями типа ТП-13, М.Васильев москва 98" ...и так далее. А нужно искать нормально по автору, названию, числу страниц, городу и году издания. Никакими прямыми алгоритмами это не берётся: регулярки, поиск по ключевым словам, морфология, нечёткая логика — всё это либо даёт много ложноположительных результатов, либо (если подкрутить пороговые значения) вообще перестаёт искать. И вот тут в какой-то момент мы решили попробовать запрашивать через API GPT. Нейросетке задаётся следующий промт: "Есть следующая информация: «150-страничный роман джеклондон мартин иден». Если здесь есть то, что похоже на имя автора книги, напиши мне его, иначе ответь null". И, надо сказать, даже 3.5 справляется с этой работой очень хорошо. Получилось сравнительно без ошибок разметить около 80% данных (остальные с ошибками даже после нейросетки). Но, важный нюанс. Сначала мы пытались поймать все данные одним запросом: "GPT, выведи мне JSON, в котором есть автор, название, число страниц...", но тесты показали, что значительно эффективнее будет отдельно спросить 5 раз про 5 разных типов данных. Да, это расходует больше токенов, но они и так сравнительно дёшевы. Кстати, API у OpenAI безбожно глючит даже на платном тарифе. Обещанных 3500 запросов в минуту нет даже приблизительно. По факту удаётся отправлять около 200-300 запросов в минуту, потом оно вываливается в таймауты или ошибку 429, нужно делать какие-то умные паузы, ждать итд. Над этим всем пришлось повозиться, зато результат вполне ощутимый. #dev

Hashtags

Резултати

Намерени 3 подобни публикации

Търсене: #methodology

当前筛选 #methodology清除筛选
OSINT Беларусь

@OSINTBY · Post #1415 · 01.05.2024 г., 16:50

📖OSINT: Поэтапная методика расследования Замечая за коллегами, не буду таить, и я порой пренебрегаю важными аспектами разведки, (будь то по открытым источникам или не совсем 😐 ) что приводит к потери необходимой информации об объекте, которая может перевернуть ранее сформированное представление или открыть новые горизонты к поиску информации. В процессе вспомнил ситуацию, в которой проводил анализ физ.лица, так вот — я чутка обосрался, так как пренебрёг одним из фундаментальных инструментов поиска. Коллега Шварц помог советом, что как раз таки расширило представление об объекте процентов на 20-30% 1. Планирование: «Пойди туда — не знаю куда, принеси то — не знаю что» В первую очередь, определяем цель поиска и вектор направления. Имея немного опыта у вас будет представление где искать, многое зависит от поставленной задачи, и речь здесь может идти как о составлении справках на физ.лиц, проверок компаний и её учредителей а может и вовсе точечный поиск со спутника (направлений масса, под каждый имеется свой арсенал инструментов - раз, два, список будет дополняться, следим за каналом) 2. Поиск и сбор информации: На данном этапе нет универсального алгоритма, зачастую цель уникальна и копать под неё необходимо с учётом особенностей. В некоторых случаях информация с которой можно работать лежит на поверхности, а порой иницируется полноценный мониторинг и постепенный сбор, иногда даже с использованием соц.инженерии, тут стоит отметить, что есть два вида сбора информации: активный и пассивный. (имеются ИИ-помощники: раз, два, распространяются на все этапы, их возможности велики) ❗️Важный момент — сначало формируем массив, а уже после приступаем к анализу собранной информации. 3. Анализ: Первым делом — фактчекинг, проверяем насколько достоверен источник перед нами, а также насколько информация логична и непротиворечива (на пути вам могут встретиться люди знакомые с термином Counter-OSINT, всячеки запутывая и вводя вас в заблуждение) Далее, исходя из имеющейся информации понимаем, в каком направлении стоит двигаться дальше. Стоит отметить, что в процессе анализа вы откроете для себя много нового, а значит стоит вернуться на шаг назад и вновь произвести поиск. 4. Отчёт: Фиксация собранной информации, мы с вами не роботы, многое забывается и к тому же воспринимать массив будет гораздо проще в структурированном виде.(речь идёт о тривиальных записях в блокноте, таблицах или майндкартах) Последнее будет самым подходящим в случае большого массива, когда голова так и норовит взорваться. Для самых маленьких, майндкарты — этосхемысвязейидетализации«‎от общего к частному» ‎(выделить могу: раз, два, три) Одной из важных особенностей майндкарт можно выделить возможность осознания взаимосвязи или закономерности, о которой ранее и подумать не мог. #OSINT#Methodology| 😈@secur_researcher

GitHub Trends

@githubtrending · Post #14877 · 28.06.2025 г., 13:30

#python#bounty#bugbounty#bypass#cheatsheet#enumeration#hacking#hacktoberfest#methodology#payload#payloads#penetration_testing#pentest#privilege_escalation#redteam#security#vulnerability#web_application Payloads All The Things is a comprehensive collection of useful payloads and bypass techniques for web application security testing and penetration testing. It offers detailed documentation for each vulnerability, including how to exploit it and ready-to-use payloads, plus files for tools like Burp Intruder. You can contribute your own payloads or improvements, making it a collaborative resource. It also links to related projects for internal network and hardware pentesting, and provides learning resources like books and videos. Using this resource helps you efficiently find and test security weaknesses in web applications, improving your pentesting effectiveness and knowledge. https://github.com/swisskyrepo/PayloadsAllTheThings