Недавно делал быстрый прототип асинхронного приложения в котором требовалось вызывать много синхронного кода. Да, я знаю, что это не лучший дизайн, но нужно было быстрое решение на один процесс и без очередей. Поэтому я выполнял код в потоках.
Выглядело это примерно так:
from fastapi.concurrency import run_in_threadpool
async def execute(data: DataRequest) -> DataResponse:
try:
result = await run_in_threadpool(sync_function, data)
return DataResponse(data=result)
except Exception as e:
return DataResponse(
error=str(e),
success=False,
)
В общем работает нормально. Для всех вызовов под капотом используется общий тредпул, всё работает предсказуемо.
Но потребовалось изменить количество запускаемых в пуле потоков (по умолчанию создается 40 воркеров).
Так как дело происходит с FastAPI, делается это через lifespan используя настройки anyio:
import anyio
@asynccontextmanager
async def lifespan(app: FastAPI):
limiter = anyio.to_thread.current_default_thread_limiter()
limiter.total_tokens = 100
yield
# если вдруг нужно вернуть обратно
limiter.total_tokens = 40
Зачем менять количество воркеров?
- уменьшить, если оперативки мало (один тред занимает ~8мб)
- увеличить чтобы выдержать нагрузку
Если есть предложения получше при тех же вводных - предлагайте😉
#async
🧠Илья Суцкевер: ИИ со временем заменит весь человеческий труд
Сооснователь OpenAI Илья Суцкевер заявил, что в ближайшие годы искусственный интеллект сможет выполнять не только отдельные задачи, но буквально всё, что способен человек.
По его словам, ключ к пониманию прост: наш мозг — это биологический компьютер. Если биологический компьютер справляется с обучением и решением задач, то нет причин, по которым цифровой компьютер не сможет достичь того же.
Суцкевер уверен: день, когда ИИ будет способен делать 100% человеческой работы, неизбежно наступит — вопрос лишь в скорости этого процесса.
🟠Полное интервью: https://www.youtube.com/watch?v=zuZ2zaotrJs
@ai_machinelearning_big_data
#AI#ArtificialIntelligence#IlyaSutskever#OpenAI
SSI Negotiates $20 Billion Funding Round
Ilya Sutskever's company, SSI, rapidly grew to a $5 billion valuation within three months of its launch last summer. Current reports suggest negotiations for a funding round that could value it at $20 billion. Remarkably, SSI has no plans to release any products soon, opting to skip intermediary steps to achieve 'safe superintelligence'. Details about what Ilya is showcasing to potential investors remain unclear.
Read more: Reuters Article
#SSI#IlyaSutskever#Funding#Investment#Superintelligence#TechGrowth#AI#Valuation#Investors#Innovation#ProductDevelopment#IndustryNews#Technology#VentureCapital#Startups#BusinessNews#MarketTrends#Crypto#VC
OpenAI CEO Salaries Revealed
OpenAI released salary details for its executives. Sam Altman earned $76,001 in 2023, averaging $318 per day over 239 working days. Emmett Shear, who served as CEO for just 10 days, made $322,201, costing $322 per day. Ilya Sutskever had the highest pay at $322,201, averaging $1,294 per day. Additionally, Shear is founding a new AI startup, Stem AI, backed by Andreessen Horowitz. The startup's trademark was filed after Shear took the temporary CEO role at OpenAI.
#OpenAI#SamAltman#EmmettShear#IlyaSutskever#AI#TechNews#Startup#AndreessenHorowitz#StemAI#Salary#ExecutivePay#CEO#RegulatoryFiling#VentureCapital
OpenAI CEO Salaries Revealed
Recent data published by OpenAI reveals salary details for its CEO Sam Altman and former CEO Emmett Shear. Altman earned $76,001 for 2023, translating to approximately $318 per workday over 239 days. In contrast, Shear received $322,201 for just 10 days as CEO, costing around $322 daily. Additionally, Ilya Sutskever earned $322,201, or $1,294 per day. Shear is now starting an AI venture, Stem AI, backed by Andreessen Horowitz, with a focus on human behavior alignment. Notably, the company was registered prior to his brief tenure at OpenAI.
#OpenAI#SamAltman#EmmettShear#Salary#AI#TechNews#Startups#Funding#IlyaSutskever#StemAI#AndreessenHorowitz#Business#Leadership#TechCrunch #2023 #StartupLife#Innovation#HumanBehavior#Equity