😨Главное за сегодня:
🇺🇸США (крипто-#ETF):
- Трамп назначил Бо Хайнса главой "Криптосовета", а CEO a16z назначен старшим советником по вопросам #AI
- Налоговая США (IRS) утверждает, что стейкинг криптовалют облагается налогом
- Phoenix Group планирует листинг на Nasdaq в 2025 году
🇰🇵#HYPE В HyperLiquid наблюдается рекордный отток на фоне опасений пользователей, что северокорейские хакеры могут искать уязвимости (несколько кошельков северокорейских хакеров имеют потери >700 000$ от торговли на бирже). #HYPE Hyperliquid Labs опровергают, что их взломали
🇰🇷 Новый комитет Южной Кореи разрабатывает санкции против манипуляторов крипторынка
🇸🇻#BTC Правительство Сальвадора продолжает накопление#BTC
🇯🇵 Gate Group приобрели Coin Master и официально вышли на японский рынок
🔥 MicroStrategy приобрели ещё 5,262 #BTC
🥳#BNB Binance Alpha выпустили новую партию проектов
🥳#TONПавел Дуров: Общая выручка Telegram в 2024 году превысила 1 млрд $, и мы завершаем год с более чем 500 млн $ денежных резервов, не считая криптоактивов
🙋♂ Nokia подали патент на «устройство, метод и компьютерную программу», которые могут шифровать цифровые активы
🥳#CRO Crypto .com запускает регулируемую службу хранения цифровых активов для клиентов из США и Канады
🙋♂ Moonpay ведет переговоры о приобретении Helio за ~150 млн $
🚫 Регулятор Малайзии запретили Atomic Wallet работать в стране
🔮#CGX#RON Community Gaming запустит свой рынок прогнозов Forkast, ориентированный на игры, в сети #RONIN
✅ Paraswap DAO одобрила внедрение нового токена для замены #PSP
🙋♂#LDO#ETH Lido запустили Ethereum SDK
🆕Листинги:
- Binance добавляет фьючерсы на #HIVE
- Binance Launchpool добавляет#BIO
🕵️♂️Активность китов и SmartMoney:
- С адреса команды Pendle перевели 625 000 #PENDLE на Binance
- транзакции китов
📊Графики и отчёты:
- #FUD Новые трейдеры, которые присоединились к рынку за последние 2-3 месяца, активно распродают#BTC и #ETH
- WhaleMap: Уровень 98 133$ остаётся важным, учитывая китовые накопления #BTC
- за последние 2 года наблюдался значительный рост числа держателей криптовалют 📈
- #UNI Общий объем #USDC на Uniswap превысил 1 трлн $ 📈
- DropsTab: новые токены в стадии накопления, поддерживаемые топовыми венчурными инвесторами
- ТОП#AI-агентов по росту цен за последние 7 дней
- отчёт CoinShares по фин потокам
- отчет BNB Chain за 2024 год #BNB
💰Сборы средств:
- Avalon Labs - 10 млн $
- #USUALUsual - 10 млн $ от Binance и Kraken
✏️События на завтра:
🔓 Разлоки: Ribbon Finance (#RBN) - 1,06% ($4,18m)
🎁#AGI Delysium запустят программу вознаграждений
🇺🇸 Durable Goods Orders (MoM) (Nov) - 16:30 мск
- Redbook (YoY) - 16:55 мск
- New Home Sales (Nov) - 18:00 мск
Поэтому вести борьбу с купцами счастья нужно неустанно и постоянно, как за зарплаты и нормальные условия труда. Победа на этом фронте сулит значительные успехи и на остальных.
Не слушайте игры нарядных дудочников. Думайте. Боритесь. @profcen_bot
#инсайд#мошенничество#mlm#сетевоймаркетинг
⚡️BERT is just a Single Text Diffusion Step
Любопытны пост, где автор объяснил на примере очень простую и очевидную, но мощную идею.
Он заметил, что то, что мы называем диффузией текста, на самом деле - это просто обобщённая версия классического обучения BERT.
Как работаетBERT?
В BERT модель берёт текст и маскирует часть слов, а потом учится угадывать, какие слова были скрыты.
В диффузии происходит почти то же самое, только шагов больше: на каждом шаге модель немного «портит» текст (добавляет шум), а затем восстанавливает его, всё меньше и меньше теряя смысл, пока не соберёт финальный чистый текст.
То есть BERT делает один шаг очистки - угадывает замаскированные слова.
А диффузионная модель делает много таких шагов подряд, постепенно превращая случайный набор токенов в осмысленный текст.
Барри дообучил RoBERTa, чтобы показать это на практике - и получил настоящий текстовый диффузионный генератор.
В примере:
- Используется RoBER (улучшенная версия модели BERT,) и датасет WikiText.
- На каждом шаге часть токенов заменяется на <MASK>,
модель восстанавливает их, потом снова маскирует — и так несколько раз.
- После нескольких итераций модель способна генерировать связный текст,
даже без автогенеративного декодера (как у GPT).
📈Результаты
- Модель генерирует осмысленный текст, хотя и не идеально связный.
- Качество улучшалось по мере добавления шагов диффузии.
- По времени генерации RoBERTa Diffusion была немного медленнее, чем GPT-2 (~13 сек против 9 сек), но архитектура осталась полностью encoder-only.
Автор упоминает, что позже наткнулся на работу DiffusionBERT, где идею реализовали глубже и подтвердили результатами.
Главная мысль:
BERT можно считать одноступенчатой версией текстовой диффузии.
Если добавить больше шагов, то vs получаем диффузионный генератор текста.
Если BERT - это один шаг диффузии, то будущее может принадлежать моделям, совмещающим "понимание" и "генерацию" текста в одном процессе.
https://nathan.rs/posts/roberta-diffusion/
@ai_machinelearning_big_data
#AI#Diffusion#RoBERTa#BERT#LanguageModel#MLM#Research