The Devs
@thedevs · Post #1174 · 16.07.2018 г., 18:48
How I scaled a website to 10 million users (web-servers & databases, high load, and performance). #video#coding#scaling#devops @thedevs https://kutt.it/AEuli0
TGTGInsighttelegram intelligenceLIVE / telegram public index
TGINSIGHT SIMILAR POSTS
Најди сличен содржај
Изворен канал @pythonotes · Post #210 · 3 фев.
Что делать если нужно поставить какую-то Python-библиотеку а root-прав нет? То есть в систему библиотеку никак и ничего не поставить. Есть как минимум два способа это решить правильно! 🔸 Сделать виртуальное окружение и ставить там что угодно. Это позволит создать полностью независимое исполняемое окружение для ваших приложений. Все библиотеки будут храниться в домашней директории юзера а значит доступ на запись имеется. Создать очень просто: python3 -m venv ~/venvs/myenvname Теперь активируем окружение # Linux source ~/venvs/myenvname/bin/activate # Windows %userprofile%\venvs\myenvname\Scripts\activate.bat Можно ставить любые библиотеки и запускать приложение. Это стандартный метод работы с любым проектом. Если еще не используете его, то пора начинать. Даже при наличии root доступа! 🔸 Бывает, что нет возможности запустить приложение из своего виртуального окружения. Например, его запускает какой-то сервис от вашего юзера и вставить активацию окружения вы не можете. В этом случае можно установить библиотеки для Python не глобально в систему, а только для юзера. Выполните этот код в консоли: python3 -m site Вы получите что-то такое: sys.path = [ '/home/user', '/usr/lib/python37.zip', '/usr/lib/python3.7', '/usr/lib/python3.7/lib-dynload', '/home/user/.local/lib/python3.7/site-packages', ... ] USER_BASE: '/home/user/.local' USER_SITE: '/home/user/.local/lib/python3.7/site-packages' ENABLE_USER_SITE: True Нас интересует параметр USER_SITE. Это путь к пользовательским библиотекам, которые доступны по умолчанию, если они есть. Именно сюда будут устанавливаться модули если добавить флаг --user при установке чего-либо через pip pip install --user requests Для этой команды не нужны root-права. После неё можно запускать системный интерпретатор без виртуальных окружений и установленная библиотека будет доступна для текущего юзера. Параметр USER_BASE показывает корневую директорию для хранения user-библиотек. Её можно изменить с помощью переменной окружения PYTHONUSERBASE export PYTHONUSERBASE=~/pylibs python3 -m site ... USER_BASE: '/home/user/pylibs' USER_SITE: '/home/user/pylibs/lib/python3.7/site-packages' Получается некоторое подобие виртуального окружения для бедных 😁 которое можно менять через эту переменную (не делайте так!Лучше venv!) 🔸 Дописывание пути в PYTHONPATH Этот способ не входит в список "двух правильных", но тоже рабочий. Здесь придётся сделать всё несколько сложней. Сначала ставим библиотеку в любое место указывая путь установки pip3 install -t ~/mylibs modulename Библиотека установится без привязки к какому-либо интерпретатору. То есть по умолчанию не будет видна. Теперь в нужный момент добавляем этот путь в sys.path или в PYTHONPATH. Не буду советовать так делать. Единственный раз когда этот способ мне пригодился и решил поставленную задачу, это при создании общей библиотеки для кластера компьютеров. Модули лежат в сети и подгружаются для всех из одного и того же места. То есть обновлять файлы требуется только один раз а не на всех хосты отдельно. Минусы такого подхода: ▫️Нужно всем хостам пробить нужный путь в .bashrc или ещё куда-то чтобы он сетапился на старте. ▫️Чем больше хостов тем больше нагрузка на сеть. Иногда такой способ не подходит именно по этой причине. Тогда Ansible вам в помощь. ▫️Не очень подходит если хосты с разными операционками. Некоторые библиотеки различаются для Linux и Windows (там, где есть бинарники) и приходится мудрить более сложные схемы. #tricks#basic
Резултати
Пронајдени 9 слични објави
Пребарај: #scaling
当前筛选 #scaling清除筛选
UXLINK
@uxlink_community · Post #925 · 11.05.2026 г., 00:44
Social Graph + Verifiable Execution = The future of Web3 Scaling. ⚡️ Thrilled to explore the frontiers of AI and capital movement with @OriginsNetwork_. We aren’t just connecting users; we’re powering the entire system. Onward! 🚀🚀 #UXLINK#Origins#Web3#Scaling
Machinelearning
@ai_machinelearning_big_data · Post #8349 · 24.08.2025 г., 09:01
📌Анатомии GPU и TPU: 12 глава пособия "How to Scale Your Model" Группа инженеров из Google DeepMind опубликовали 12-ю главу своего он-лайн учебника "How to Scale Your Model: A Systems View of LLMs on TPUs" How to Scale Your Model - практико-ориентированное руководство по масштабированию LLM из 12 разделов для разработчиков и исследователей. Оно объясняет, как анализировать и оптимизировать производительность модели, учитывая системные ресурсы: вычисления, память и пропускную способность. Пособие научит выбирать оптимальные стратегии параллелизма, оценивать стоимость и время обучения и инференса, а также глубже понять взаимодействие между TPU/GPU и алгоритмами масштабирования как на одном, так и на тысячах ускорителей. 12-я глава - глубокое техническое руководство по архитектуре GPU и стратегиям масштабирования больших моделей. В ней детально разбирается устройство современных GPU NVIDIA: Streaming Multiprocessors, Tensor Cores, иерархия памяти (HBM, L2, SMEM), все это с подробными сравнительными таблицами характеристик для разных поколений чипов. Очень подробно выполнено сравнение архитектур GPU и TPU, с объясняем ключевого различия между модульностью GPU и монолитностью TPU. Особое внимание, что редкость для обучающих материалов, уделено сетевой организации кластеров. Авторы доступно объясняют как GPU соединяются внутри узлов через NVLink/NVSwitch и между узлами через InfiniBand в топологии "Fat tree", и как пропускная способность на каждом уровне влияет на реальную производительность коллективных операций (AllReduce, AllGather). Описаны основные стратегии параллелизма: Data Parallelism, Tensor Parallelism, Expert Parallelism и Pipeline Parallelism, с разбором их ограничений и примеров из реальных проектов. В конце главы есть хороший анализ новых возможностей архитектуры Blackwell. @ai_machinelearning_big_data #AI#ML#LLM#Scaling#GPU#TPU
以太坊区块链新闻| ETH 以太币圈热瓜
@ethereumglobalnews · Post #1426 · 27.11.2025 г., 08:58
🪙Vitalik expects ETH gas limits to grow with precision. #Scaling 以太坊創辦人 Vitalik Buterin （26）日表示2026 年的區塊 Gas 上限仍會走升，但將擺脫過往「全面平均式調高」的模式，改為 更精準、針對性更強的調整節奏。 #Protocol#DeFi#市场趋势#以太坊 ——— ⚡️ 此舉意味著以太坊擴容將從「粗放擴大」走向「精細調節」，並與帳戶抽象、資料可用性改革形成更一致的技術路線。 ✅Chat: @Web3NewsInsight 🦂 👇Tip👇讚 或點擊進行💎資源搜索👇
以太坊区块链新闻| ETH 以太币圈热瓜
@ethereumglobalnews · Post #1622 · 26.12.2025 г., 07:27
🪙🔥 BIG 2026 Upgrade-ETH 以太坊 2026 Glamsterdam 硬分叉： • 并行处理 • Gas 上限提升至 200M • 数据 Blob 扩容 • 10% 网络迁移至 ZK Rollups #以太坊#区块链#扩容 #Ethereum#ZK#Scaling ——— 👇⭐️👇 🤣 🥲👇 資源搜索 🖲️👆
以太坊区块链新闻| ETH 以太币圈热瓜
@ethereumglobalnews · Post #1295 · 05.11.2025 г., 06:25
⚡️💵Vitalik on Faster L2 Withdrawals #BreakingNews@Ethereumglobalnews 🧠 以太坊联合创办人 Vitalik Buterin 提出: 第一阶段 Rollup 的提款时间可缩至1-2天 第二阶段 Rollup 将维持 7 天周期以确保最高安全性 💡 这项提案若落地，可能大幅加速 L2 资金流转与用户采用 #Insight#Scaling #ETH#Ethereum#Layer2#Rollup ——— 💎@GlobalWeb3News✅ 🤣Follow for fast crypto alerts 🤣
以太坊区块链新闻| ETH 以太币圈热瓜
@ethereumglobalnews · Post #2008 · 02.03.2026 г., 04:28
Vitalik Buterin proposes binary state trees and a RISC-V VM to solve Ethereum’s execution bottlenecks. ⚡️ 他指出，目前以太坊执行层面临两大核心瓶颈： 1️⃣ 状态访问与存储效率 2️⃣ 虚拟机架构限制 通过引入 Binary State Trees，有望优化状态证明结构，而 RISC-V 虚拟机 则可能提升执行效率与灵活性。 “A better VM can make Ethereum beautiful and great.” ⚡️这不仅是技术升级讨论，更是 长期可扩展性与模块化路线的关键一步。 若推进顺利，或将影响未来 L2 设计与执行层架构方向。 #Ethereum#ETH#Layer1#Scaling #Blockchain#EVM#RISC#Crypto
Crypto M - Crypto News
@CryptoM · Post #65085 · 10.04.2026 г., 22:56
🚀 Offchain Labs Co-Founder Ed Felten on the Future of Layer 2s Amid Ethereum's Mainnet Scaling Offchain Labs co-founder Ed Felten expressed confidence in the continued relevance of layer 2 solutions like Arbitrum, even as Ethereum focuses on scaling its mainnet. According to NS3.AI, Felten highlighted that layer 2s can maintain their competitiveness by providing faster response times, reduced block times, and increased throughput. #OffchainLabs#EdFelten#Layer2#Ethereum#Arbitrum#Scaling#Blockchain#NS3AI#Throughput#ETH#ARB
Neuron | OnlyFAST
@neuron_skills · Post #1643 · 11.07.2025 г., 14:48
📊 AI-автоматизация на страже новостей! За период 07.07.2025 – 10.07.2025 наша система автоматически проанализировала для вас: 191 топовый сабреддит 449 Twitter-аккаунтов 29 Discord-серверов (226 каналов, 12 761 сообщений) ⏳ Экономия вашего времени: Если бы вы читали это вручную со скоростью 200 слов в минуту, ушло бы целых 806 минут — а так, всё самое важное уже собрано в одном месте! tags: companies #xai#perplexityai#langchain#cursor#cline models #grok4#grok4heavy#claude4opus topics #modelreleases#benchmarking#longcontext#modelpricing#modelintegration#voice#performance#scaling#gpuoptimization people’s #elonmusk#aravsrinivas#igorbabuschkin#yuchenj_uw