Post #365

🫦Good news, everyone! We totally forgot to mention last time that, to compensate for the slowdown period, all Premium users and anyone who had an @AximoBot trial received an extra five days of subscription. And, as we promised last week, we're sharing a bit more detail on how we dealt with the aftermath of the slowdowns. From the news icon, it's easy to guess we’re talking about @NudesRemoverBot. So what exactly happened: we discovered the bot had started gobbling bandwidth - hundreds of times more data than usual. The reason? Buggy handling of link previews: the system didn't really check what the link was and happily downloaded everything. Sometimes these were multi-gigabyte archives. We fixed that, of course, and then got a bit carried away and cleaned up a bunch of other things as well. A bit of stats to start: the system serves ~10k groups; about ~1.7m messages pass through the bot per day, of which roughly 90k fall under the filters (either media or text with a link); daily traffic is about 1.2 gigabytes (the system fetches image previews for videos and the images themselves for analysis). And about 5% of messages get deleted. The most interesting part - the bot is completely free. What we improved: — Updated the NSFW detection model. Accuracy should improve a bit. But keep in mind the system can make mistakes, especially with stickers and video notes (the round videos), since those media have low resolution. — Added caching; for stickers this is critically important because they’re often reused. This small trick significantly reduced system load. — The debug command (analysis mode) can now be used in DMs. You no longer have to send an image to the chat and shock everyone. We also removed case sensitivity, so if you really want, you can write Debug or dEbUg. — You can't add a comment for video notes or stickers, so to get the recognition percentages, just forward them to the bot in a DM. Need help? Ask any questions you like in our support group: @madbots_talk. ——————————- 🫦 Отличные новости! Мы напрочь забыли в прошлый раз отписаться, что для компенсации периода тормозов всем премиумам и пользователям, у которых был триал @AximoBot, было начислено дополнительно пять дней подписки. Ну и, как и обещали на прошлой неделе, публикуем немного подробностей про то, как мы разгребали последствия тормозов. По иконке новости нетрудно догадаться, что поговорим мы про @NudesRemoverBot. Что, собственно, произошло: мы обнаружили, что бот начал пожирать трафик — в сотни раз больше данных, чем обычно. Причина? Кривая обработка превьюшек для ссылок: система не особо проверяла, что за ссылка, и радостно качала всё. Иногда это могли быть и архивы на несколько гигабайт. Мы это дело, понятное дело, починили, но немного увлеклись и исправили до кучи ещё множество вещей. Вначале немного статистики: система обслуживает ~10 тысяч групп, в сутки через бота проходит ~1.7 млн сообщений, из которых под фильтры (это либо медиа, либо текст со ссылкой) попадает примерно 90к сообщений, средний суточный трафик около 1.2 гигабайта (система выкачивает превью картинок для видео и сами картинки для анализа). Ну и, собственно, удаляется примерно 5% сообщений. И самое интересное - бот полностью бесплатный. Что улучшили: — Обновили модель для распознавания NSFW. Немного должна улучшиться точность. Но имейте в виду, система может ошибаться, особенно в случае стикеров и кружочков, так как там небольшое разрешение у медиа. — Добавили кэширование, в случае стикеров это критически важно, так как их часто переиспользуют. Этот небольшой трюк позволил значительно снизить нагрузку на систему. — Команду debug (режим анализа) теперь можно использовать в личке. Теперь не обязательно слать картинку в чат и шокировать участников. Также убрали проверку на регистр, если сильно хочется, можете писать Debug или dEbUg. — Для кружочков и стикеров нельзя прописывать коммент, так что для получения процентов распознавания просто перешлите их боту в личку. Проверяем, тестируем. Если обнаружились проблемы, не стесняемся писать в группу поддержки @madbots_talk.