😨Главное за сегодня:
🇺🇸США (крипто-#ETF):
- Заявка Bitwise на запуск #XRP-#ETFпопала на сайт SEC
- притоки/оттоки #BTC/#ETH #ETF
🍿#FTT FTX выставили на аукцион 22,3 млн заблокированных #WLD (~38 млн $) со скидкой от 40% до 75%
💰#WLD#AI OpenAI закрыли раунд финансирования на сумму 6,5 млрд $ при оценке >150 млрд $
🇷🇺#BTCCEO BitRiver: Российские майнеры могут выйти в лидеры, оставив США позади, на горизонте 2-3 лет
🆕 Upbit листит#W (Wormhole) 🚀
💰 Трейдер превратил 368$ в 2 млн $ на #HIPPO (sudeng) всего за 3 дня 🚀
🥳#APT Franklin Templeton добавили блокчейн Aptos для поддержки токенизированного фонда денежного рынка
😨#TONПавел Дуров уточняет: Telegram может раскрывать властям IP-адреса и номера телефонов преступников с 2018 года
🔮 Апелляционный суд постановил, что рынок прогнозов Kalshi может продолжать работу и заключать контракты, разрешающие делать ставки на выборы
🙅♂ Kraken прекращает поддержку Monero (#XMR) в Европейской экономической зоне
🗣#BTCQCP Capital: Влияние ситуации на Ближнем Востоке носит краткосрочный характер, готовность рынка покупать рискованные активы остается сильной
📈#SUI#SCA Общая сумма кредитования Scallop превысила 100 млрд $
🥊 COPA и Unified Patents начали кампанию против криптовалютных «патентных троллей»
🙋♂#EIGEN#ZRO LayerZero и Eigen Labs представили децентрализованную верификационную сеть CryptoEconomic (DVN) Framework
🤝Партнёрства:
- #LINK Taurus и Chainlink сотрудничают для стимулирования внедрения токенизированных активов #RWA
- #AVA Ava Protocol интегривались с Soneium от Sony
🕵️♂️Активность китов и SmartMoney:
- Джастин Сан, вероятно, продал все свои #EIGEN
- участник ICO Ethereum перевёл 6000 #ETH (~14,71 млн $) на Kraken
- кит, который получил >32 млн $ прибыли от #ETH с сентября 2023 года, перевёл на Binance 1500 ETH
- Animoca Brands внесли на Binance 8 млн #PIXEL
- Ceffu вывели 3 372 #BTC (211,33 млн $) с Binance за последние 2 дня
📊Графики и отчёты:
- #DOGEдостиг 7-месячного максимума по активности адресов и 4-месячного максимума по транзакциям китов 🐶
- наблюдается всплеск перемещения #BTC на OTC площадки, на которых в настоящее время находится ~410 000 BTC
- недельный объем торгов DEX на #SOLпревзошел#ETH впервые за 43 дня
- #ARBUniswap: Arbitrum - первый L2, объем свопов которого превысил 200 млрд $ 📈
- ТОП токенов по рыночной капитализации, выпущенных в Q3 2024 года
- ТОП проектов по размытой рыночной капитализации (FDV), запущенных в Q3
- ТОП блокчейнов по росту TVL в третьем квартале 2024 года
- ТОП лаунчпадов по объему привлеченных средств в Q3 2024 года
- отчёт Glassnode
✏️События на завтра:
🔓Разлок: Decentralized Games (#DG) - 2,38% of M.Cap ($113,5m)
🆕#ASI#FET Coinbase International добавит поддержку фьючерсов на Artificial Superintelligence Alliance (ASI)
🍿#AXL Анонс от Axelar
🇪🇺 Services/Composite PMI (сент) - 11:00 МСК
- проминфляция PPI (авг) - 12:00 МСК
- минутки с прошлого заседания ЕЦБ - 14:30 МСК
🇺🇸 Initial Jobless Claims - 15:30 МСК
- S&P Services/Composite PMI (сент) - 16:45 МСК
- ISM Services PMI (сент) - 17:00 МСК
- Factory Orders (авг) - 17:00 МСК
Поэтому вести борьбу с купцами счастья нужно неустанно и постоянно, как за зарплаты и нормальные условия труда. Победа на этом фронте сулит значительные успехи и на остальных.
Не слушайте игры нарядных дудочников. Думайте. Боритесь. @profcen_bot
#инсайд#мошенничество#mlm#сетевоймаркетинг
⚡️BERT is just a Single Text Diffusion Step
Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею.
Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT.
Как работаетBERT?
В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты.
В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст.
То есть BERT делает один шаг очистки - угадывает замаскированные слова.
А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст.
Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор.
В примере:
- Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText.
- На каждом шаге часть токенов заменяется на <MASK>,
модель восстанавливает их, потом снова маскирует — и так несколько раз.
- После нескольких итераций модель способна генерировать связный текст,
даже без автогенеративного декодера (как у GPT).
📈Результаты
- Модель генерирует осмысленный текст, хотя и не идеально связный.
- Качество улучшалось по мере добавления шагов диффузии.
- По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only.
Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами.
Главная мысль:
BERT можно считать одноступенчатой версией текстовой диффузии.
Если добавить больше шагов, то vs получаем диффузионный генератор текста.
Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе.
https://nathan.rs/posts/roberta-diffusion/
@ai_machinelearning_big_data
#AI#Diffusion#RoBERTa#BERT#LanguageModel#MLM#Research