Сделал в компании доклад о применении ИИ в архитектуре, давайте и вам расскажу.
Фокус в использовании подхода architecture as code: абсолютно все архитектурные артефакты у нас это тексты. С обычной документацией понятно, это и так некоторый набор текстовых файлов, чаще всего в макрдауне. Для них мы применяем структурный шаблон Arc42 — список из 12 пунктов, по которым нужно распределить информацию о проектируемой системе.
Структурный шаблон, во-первых, хорошо известен нейронкам, и они сразу понимают, о чём речь. Во-вторых, можно кинуться в модель бизнес-требованиям и очень быстро создать некий первоначальный набросок, от которого вы дальше уже пляшете, уточняя по пунктам и исправляя ошибки ИИ. Ну и, в-третьих, готовая структура с ящиками, по которым нужно всё раскладывать, это гораздо лучше, чем свалка ADR'ок, как это нередко бывает в компаниях.
Со схемами и диаграммами ещё интереснее. Берём инструменты со своими DSL-языками, такие, как Structurizr и PlantUML. Вся схема или диаграмма целиком определяется текстовым файлом. Можно применять Git со всеми его преимуществами. А для нейронок это родная среда: вы, как человек, смотрите на схему глазами, но нейронка работает с её DSL-файлом. Навскидку тут прирост эффективности даже больше, чем в программировании, потому что DSL это просто синтаксис, без смыслового наполнения, человеку его можно вообще не знать. Ты пишешь промпты, а смотришь уже на картинку, сгенерированную схему, и следующим промптом указываешь, где какие правки сделать. Нейронке при этом не приходится думать про потоки, асинхронность, типы данных, она просто правит текст как текст, поскольку у DSL нет поведения.
Тут как раз наиболее видна разница между рутинной и интеллектуальной частью работы. Как именно будет выглядеть схема, продумывает архитектор. Если доверить это нейронке, даже мощной, будет полно ошибок, неоптимальностей, неучтённых нюансов среды и так далее. Но вот само по себе написание синтаксиса — имба.
#dev@clockstackwheels
https://pawelmhm.github.io/asyncio/python/aiohttp/2016/04/22/asyncio-aiohttp.html
👌Making 1 million requests with python -#aiohttp
Apr 22, 2016 - by Paweł Miech - about: #asyncio, aiohttp, #python
In this post I’d like to test limits of python aiohttp and check its performance in terms of requests per minute. Everyone knows that asynchronous code performs better when applied to network operations, but it’s still interesting to check this assumption and understand how exactly it is better and why it’s is better. I’m going to check it by trying to make 1 million #requests with aiohttp client. How many requests per minute will aiohttp make? What kind of exceptions and crashes can you expect when you try to make such volume of requests with very primitive scripts? What are main gotchas that you need to think about when trying to make such volume of requests?
https://www.blog.pythonlibrary.org/2012/06/08/python-101-how-to-submit-a-web-form/
Today we’ll spend some time looking at three different ways to make Python submit a web form. In this case, we will be doing a web search with duckduckgo.com#searching on the term “python” and saving the result as an HTML file. We will use Python’s included #urllib modules and two 3rd party packages: #requests and #mechanize. We have three small scripts to cover, so let’s get cracking!
http://www.djangocrew.com/blog/how-startstopget-google-compute-instance-python/
In this post we gonna tell you about How to start/stop/get for the #google compute instance with python.
Sometimes we don’t want (or need) a compute engine instance running 24hs every day but we need to run #task/s periodically. To solve this we can have an app engine task runing using cron service to start the VM instance. Once the VM has started, it can have a startup script that runs the actual task it was needed for and then stops the machine.
#REST#Linux#Windows#requests
https://alysivji.github.io/flask-part1-generating-html-pages-with-mongoengine-jinja2.html
Generating HTML Pages from #MongoDB with #MongoEngine and #Jinja2 (Flask Part 1)
Summary
Overview of MongoDB
Discussion of Object-Relational Mapping (#ORM)
Use MongoEngine to get items out of MongoDB
Render #HTML pages using Jinja2
Interact with #REST API to send emails with #Requests
https://alysivji.github.io/mongodb-pipelines-in-scrapy.html
#Scraping Websites into #MongoDB using Scrapy #Pipelines
Summary
Discuss advantages of using Scrapy framework
Create #Reddit spider and scrape top posts from list of subreddits
Implement Scrapy pipeline to send scraped data into MongoDB
Sure, we could hack together a solution using #Requests and #Beautiful_Soup (bs4), but if we ever wanted to add features like following next page links or creating data validation pipelines, we would have to do a lot more work.
https://blog.wallaroolabs.com/2017/12/stateful-multi-stream-processing-in-python-with-wallaroo/
#Wallaroo is a high-performance, open-source framework for building distributed stateful applications. In an earlier post, we looked at how Wallaroo scales #distributed_state. In this post, we’re going to see how you can use Wallaroo to implement multiple data processing #tasks performed over the same shared #state. We’ll be implementing an application we’ll call “Market Spread” that keeps track of the latest pricing information by stock while simultaneously using that state to determine whether stock order #requests should be rejected.
#pipeline