@awesomeopensource · Post #147 · 25.07.2018 г., 14:38
dvc 为机器学习实验设计的版本控制,可以兼容任何git存储库。用于管理实验数据和代码,可以重现实验过程和结果。(视频很有意思) Tags:#machinelearning#versioncontrol#tools Languages:#python
TGINSIGHT SIMILAR POSTS
Изворен канал @pythonotes · Post #270 · 9 јул.
От многопоточных вычислений переходим к распределённым. То есть вычисления, происходящие на нескольких компьютерах. Конечно, в зависимости от задачи, вы можете взять готовые решения вроде CGRU или Deadline для рендеринга, charm4py или Dask для ML, или замутить что-то на AWS С2. Но хотелось бы чего-то попроще, попитоничней что ли) А ведь в Python есть средства "из коробки" для синхронизации нескольких процессов на разных хостах. Вот простой пример кода, который синхронизирует работу двух процессов на разных компьютерах. В этом случае используется процесс-посредник, который является синхронизирующим сервером. В примере создаётся некий Manager, который шарит общую для клиентов очередь. Все подключившиеся могут что-то в неё писать или забирать. В моём коде один процесс что-то "считает" и складывает в очередь, другой забирает и продолжает какие-то свои "расчёты". Если у вас есть несколько машин, то можете попробовать это запустить по сети (нужно заменить 'localhost' на IP-адрес сервера). Но и на локальной машине сработает. Gist 🌎 #libs#source#tricks
Пребарај: #versioncontrol
@awesomeopensource · Post #147 · 25.07.2018 г., 14:38
dvc 为机器学习实验设计的版本控制,可以兼容任何git存储库。用于管理实验数据和代码,可以重现实验过程和结果。(视频很有意思) Tags:#machinelearning#versioncontrol#tools Languages:#python