От многопоточных вычислений переходим к распределённым. То есть вычисления, происходящие на нескольких компьютерах.
Конечно, в зависимости от задачи, вы можете взять готовые решения вроде CGRU или Deadline для рендеринга, charm4py или Dask для ML, или замутить что-то на AWS С2. Но хотелось бы чего-то попроще, попитоничней что ли)
А ведь в Python есть средства "из коробки" для синхронизации нескольких процессов на разных хостах.
Вот простой пример кода, который синхронизирует работу двух процессов на разных компьютерах.
В этом случае используется процесс-посредник, который является синхронизирующим сервером.
В примере создаётся некий Manager, который шарит общую для клиентов очередь. Все подключившиеся могут что-то в неё писать или забирать.
В моём коде один процесс что-то "считает" и складывает в очередь, другой забирает и продолжает какие-то свои "расчёты".
Если у вас есть несколько машин, то можете попробовать это запустить по сети (нужно заменить 'localhost' на IP-адрес сервера). Но и на локальной машине сработает.
Gist 🌎
#libs#source#tricks
🇨🇳 DeepSeek V4 выходит на этой неделе //
1 триллион параметров, активных при генерации — всего 32 млрд (MoE). Работает локально на двух RTX 4090. Контекст — 1 млн токенов против 128K у V3, точность 97%. Скорость генерации выше в 1.8 раза.
Главный фокус на код. Плюс мультимодальность — текст, картинки, возможно видео.
Оптимизирован под чипы Huawei и Cambricon. Без приоритета для Nvidia. По слухам, DeepSeek готовит конкурента Cursor для китайского рынка.
Официального релиза еще нет, но возможно сегодня анонсируют.
🧠Следи за AItoolz — следим за релизом
#DeepSeek#DeepSeekV4#релиз