Post #336

⚠️ Good (and not so good) news, everyone!Especially for @download_it_bot users. This channel has passed 600,000 subscribers, and we should be happy about it. But trouble came from where we didn’t expect — YouTube. The platform has tightened restrictions on downloading videos through third-party services and now requires authorization for most requests. As a result, 95% of our proxy servers have been blocked. Because of this, the well-loved @download_it_bot is now working slowly and with many interruptions. This problem isn’t just affecting us — most similar bots and services are also having serious issues. Other sites are working fine. As for YouTube, we can currently only download files up to 50–100 MB in size. But there’s no need to panic — we are actively working to restore functionality (as much as possible). Still, we must admit: in the near future, waiting times and the number of errors will increase. We've managed to reduce the error rate from 70% to 15%, but it came at a cost — longer queues and delays. Now, some good news. While investigating the issue, we found several bugs and areas for improvement. Here's what we’ve done: — We fixed file extension handling, no more unknown_video. This is especially helpful for those downloading files like archives, apps, or videos with unclear names. — We optimized our cache system. We had to reprocess about 25% of the data, that's nearly 6 million entries. The issue was that users shared the same link in different ways, creating duplicates in the cache. Now the caching system is much more reliable. — We removed limits for cases when a file is in the cache but was deleted by Telegram. Previously, the system would stop the download, now it works properly. Need help? Ask any questions you like in our support group: @madbots_talk. ——————————- ⚠️ Отличные (и не очень) новости для пользователей @download_it_bot! Данный канал перевалил отметку в 600 тысяч подписчиков, и вроде как нам стоит радоваться. Однако беда пришла откуда не ждали — от YouTube. Сервис сильно закрутил гайки в отношении скачивания видео сторонними сервисами и ввёл принудительную авторизацию для большинства запросов. В результате на данный момент 95% наших прокси-серверов оказались заблокированы. Как следствие, всеми любимый @download_it_bot работает медленно и с большими перебоями. Проблема затронула не только нас — большинство аналогичных ботов и похожих сервисов также перестали нормально функционировать. Остальные сайты работают стабильно. С YouTube же пока удаётся загружать только файлы размером не более 50–100 мегабайт. Но не время паниковать — мы активно работаем над восстановлением функционала (насколько это вообще возможно). Однако, как бы это ни было печально, в ближайшее время время ожидания будет увеличено, как и количество ошибок. Нам удалось снизить процент ошибок с 70 до 15, но не бесплатно — значительно выросли очередь и время ожидания. Но хватит о грустном. В процессе исследования проблемы мы обнаружили несколько багов и потенциальных точек для улучшения. Вот, что мы сделали: — Реализовали корректную обработку расширений, больше никакого unknown_video. Эта функция особенно пригодится тем, кто скачивает файлы типа архивов, приложений, или если видео находится по ссылке без указания нормального имени файла. — Провели глобальную оптимизацию кэша. Пришлось пересчитать почти 25% данных - это около 6 миллионов строк. В чём была проблема? Пользователи отправляли одну и ту же ссылку разными способами, и в кэше скапливались дубликаты. Сейчас работа с кэшем стала в разы надёжнее и быстрее. — Убрали лимиты в случаях, когда файл есть в кэше, но по каким-то причинам был удалён Telegram. Раньше система обрывала скачивание, теперь всё работает корректно. Проверяем, тестируем. Если обнаружились проблемы, не стесняемся писать в группу поддержки @madbots_talk.