Наверняка вы замечали, что в Python есть удобная функция для получения переменной окружения
os.getenv(NAME)
И её "сестра" для создания или изменения переменных окружения
os.putenv(NAME, VALUE)
Но почему-то putenv() не работает как должно. Энвайромент не обновляется!
os.putenv('MYVAR', '1')
print(os.getenv('MYVAR'))
... и ничего 😴
Почему так?
На самом деле энвайромент обновляется, но это значение не добавляется в словарь os.environ.
Откройте исходник функции os.getenv(). Это просто шорткат для os.environ.get()
В то время как putenv() это built-in С-функция.
Словарь os.environ (или точней класс из MutableMapping) создаётся из энвайромента в момент инициализации. Функция putenv() самостоятельно его не изменяет.
В тоже время, когда вы создаёте или изменяете ключ в os.environ, автоматически вызывается putenv() в методе __setitem__().
То есть, технически putenv() всё делает верно, но в os.environ это не отражается. Можно проверить так:
>>> os.putenv('MYVAR', '123')
>>> os.system('python -c "import os;print(os.getenv(\'MYVAR\'))"')
123
Я объявил переменную в текущем процессе и вызвал дочерний процесс, который её унаследовал и получил в составе os.environ.
Аналогично при удалении переменной вызывается еще одна built-in функция unsetenv(), удаляющая переменную из системы.
Итого
▫️ Удобней всего явно обновлять переменные через os.environ
▫️ Есть способ неявно создать/удалить переменную через putenv/unsetenv, что не повлияет на os.environ но изменит энвайромент и передаст изменения сабпроцессам. Но так лучше не делать!
▫️os.environ это просто обертка для built-in функций putenv() и unsetenv().
#basic
#other#playwright
Playwright CLI is a simple command-line tool for browser automation that works best with coding agents like Claude or GitHub Copilot. Install it globally with `npm install -g @playwright/cli@latest`, then use commands like `open`, `type`, `click`, `screenshot` to control browsers efficiently without loading heavy page data. It saves tokens for faster AI tasks on large codebases. You benefit by automating web tests, taking screenshots, and managing sessions quickly, making your coding and testing workflows smoother and more reliable.
https://github.com/microsoft/playwright-cli
#typescript#fingerprinting#playwright#puppeteer#scraping#typescript
Fingerprint-suite is a toolkit that generates and injects realistic browser fingerprints into automated browsers like Playwright and Puppeteer. It includes four modular packages: header-generator for HTTP headers, fingerprint-generator for browser fingerprints, fingerprint-injector for injection, and a Bayesian network for realistic fingerprint creation. Since websites increasingly use fingerprinting to track and identify users, this tool helps your web scrapers avoid detection by mimicking real browser behavior. You can customize fingerprints by device type and operating system, making your automated browsing appear completely legitimate to anti-bot systems.
https://github.com/apify/fingerprint-suite
#typescript#agent#ai#ai_agents#ai_tools#automation#browser#browser_automation#browser_use#chrome_extension#comet#dia#extension#manus#mariner#multi_agent#n8n#nano#opensource#playwright#web_automation
Nanobrowser is a free, open-source Chrome extension that uses multiple AI agents to automate complex web tasks directly in your browser, keeping your data private since everything runs locally. It supports many AI language models, lets you customize which models handle different tasks, and offers an easy chat interface to control and track automation. You can automate repetitive tasks, ask follow-up questions, and review past interactions without coding. It works best on Chrome and Edge and is a cost-effective alternative to expensive AI automation tools, giving you powerful, flexible web automation with full control and privacy.
https://github.com/nanobrowser/nanobrowser
#python#ai#ai_scraping#automation#crawler#crawling#crawling_python#data#data_extraction#mcp#mcp_server#playwright#python#scraping#selectors#stealth#web_scraper#web_scraping#web_scraping_python#webscraping#xpath
Scrapling is a fast Python web scraping tool that fetches pages, bypasses anti-bot blocks like Cloudflare, and adapts to site changes by auto-finding elements. Use simple CSS/XPath selectors, spiders for big crawls with pause/resume, proxy rotation, and CLI—no code needed sometimes. Install via pip; it's memory-light and beats others in speed. You save time fixing broken scrapers, scrape reliably at scale, cut costs with AI tools, and focus on using data for leads, prices, or research.
https://github.com/D4Vinci/Scrapling