🔥Как работает нейросеть? — [9:59]
Нейросети уже заполонили мир, особенно ChatGPT и Midjourney, поэтому важно приблизительно понимать как они работают. В этом ролике речь пойдёт об общем строении ИИ, что такое нейрон, вес и как подбирается результат.
Перейти к просмотру
#видео#ai
📌BED-LLM: адаптивный сбор информации для LLM.
Исследователи из Оксфорда и Apple представили BED-LLM, новый подход для улучшения способности LLM разумно и адаптивно собирать информацию от пользователя или другого внешнего источника.
Суть подхода заключается в применении последовательного Байесова экспериментального дизайна к процессу генерации вопросов. Вместо промптинга система максимизирует ожидаемый прирост информации при каждом следующем вопросе. Алгоритм итеративно выбирает запросы, которые дают максимальную информацию о целевом параметре.
Критический момент — правильная конструкция совместной модели распределения целевой переменной и ответов с учетом вопросов. Выбор между парой «приор-правдоподобие» и «данные-оценка» кардинально влияет на производительность. Итоговый выбор пал на на первом варианте, как более подходящем для случаев, когда пространство целевых гипотез сложнее пространства возможных ответов.
Ключевая фишка BED-LLM в фильтрации гипотез с учетом истории диалога. Система не полагается только на контекстное обучение. Вместо этого алгоритм сначала сэмплирует кандидатов из распределения модели, а затем отфильтровывает несовместимые с историей варианты через проверку правдоподобия.
🟡Тесты
Чтобы проверить метод в деле, его протестировали на классической игре "20 вопросов". В задаче по угадыванию знаменитостей результат на Mistral-Large поднялся с 14% при использовании стандартных промптов (Naive QA) до 91% с фреймворком BED-LLM.
Упрощенный подход, основанный на максимизации энтропии показал промежуточный результат в 68%. Схожая картина и с другими моделями: Qwen2.5-72B при угадывании животных достигла 94% точности с BED-LLM против 85% у энтропии и всего 45% у Naive QA. А GPT-4o в тесте со знаменитостями показала рост с 45% до 86%.
Второй тест метода провели на более абстрактной задаче - выявлении кинопредпочтений пользователя.
Здесь вместо угадывания конкретного объекта модель должна была составить профиль вкусов пользователя, задавая ему вопросы с несколькими вариантами ответа. Качество рекомендаций, сгенерированных на основе этого профиля, оценивалось по шкале от 1 до 5. И здесь BED-LLM стабильно опережал конкурентов, выходя в лидеры уже к третьему вопросу.
Интересное наблюдение: простое использование предсказательной энтропии вместо полного ожидаемого прироста информации значительно ухудшает результаты. Многие предыдущие теории делали именно такое упрощение, считая энтропию правдоподобия константой. Эксперименты с BED показали, что это неоправданное допущение - вариативность ожидаемой условной неопределенности между вопросами может быть решающей для выбора хороших запросов.
🟡Arxiv
@ai_machinelearning_big_data
#AI#ML#Research#BayesianDesign
📌ИИ, который сам создает ИИ: ASI-ARCH нашел 106 новых SOTA-архитектур.
ASI-ARCH - экспериментальная демонстрация искусственного сверхинтеллекта для исследований в области ИИ, который способен полностью автономно вести научную работу по поиску новых нейросетевых архитектур.
Система самостоятельно выдвигает гипотезы, реализует их в виде исполняемого кода, обучает и проверяет на практике. Результатом этой работы стали 1773 автономных эксперимента, которые заняли свыше 20 000 GPU-часов и привели к открытию 106 новых SOTA-архитектур с линейным механизмом внимания.
🟡Весь процесс разделен на 2 этапа: поиск гипотез и их проверка.
На первом этапе, система работает с небольшими моделями размером около 20 млн параметров, обучая их на 1 млрд токенов. На этом этапе было проведено 1773 эксперимента, которые заняли примерно 10 000 GPU-часов.
Всего на этом этапе было отобрано 1350 перспективных кандидатов — все они превзошли базовую архитектуру DeltaNet как по лоссу, так и по метрикам на бенчмарках.
Второй этап - верификация. Кандидаты первого этапа были масштабированы до 340 млн параметров, чтобы соответствовать конфигурации DeltaNet. После фильтрации архитектур с избыточной сложностью или числом параметров осталось около 400 моделей.
Их обучение на 1 млрд. токенов потребовало ещё 10 000 GPU-часов. В итоге, именно из этой группы были выделены 106 архитектур, достигших SOTA-уровня.
Для финальной валидации исследователи отобрали 5 лучших моделей, обучили их на 15 млрд. токенов и сравнили с Mamba2, Gated DeltaNet и DeltaNet.
🟡Анализ предпочтений системы показал интересные закономерности.
ASI-ARCH явно предпочитает работать с проверенными временем компонентами: гейтингом и свёрткой. Но самое главное - распределение компонентов в 106 лучших моделях имеет значительно менее выраженный long-tail distribution по сравнению с остальными 1667 сгенерированными архитектурами.
Это означает, что система добивается успеха не путем хаотичного перебора экзотических идей, а через итеративное улучшение набора проверенных техник. По сути, это очень напоминает методологию работы ученых-людей.
🟡Результаты.
Одна из лучших найденных ИИ-архитектур, PathGateFusionNet, показала средний результат по всем бенчмаркам 48.51. Для сравнения, Mamba2 набрала 47.84, а разработанная человеком Gated DeltaNet — 47.32. Другая генерация, ContentSharpRouter, достигла показателя 48.34.
Если посмотреть на отдельные тесты, то PathGateFusionNet получила на BoolQ 60.58 балла, а Gated DeltaNet - 60.12. AdaptiveEntropyRouter в версии на 340 млн. параметров показала результат на тестах 44.31, что на 2.21 пункта выше, чем у Gated DeltaNet (42.10).
И так практически во всем, улучшения наблюдаются по всему спектру задач.
🟡И самое интересное — откуда система черпает идеи? Источников всего 3:
🟢Cognition - знания, извлеченные из научной литературы;
🟢Analysis - выводы, сделанные на основе собственных прошлых экспериментов;
🟢Originality - абсолютно новые идеи.
Для всех 1773 сгенерированных архитектур распределение источников было таким:
🟠51.7% идей приходило из человеческой литературы;
🟠38.2% - из собственного анализа;
🟠10.1% были оригинальными.
Но если посмотреть только на 106 SOTA-итогов, картина меняется. Доля идей, основанных на Analysis, возрастает с 38.2% до 44.8%, а доля Cognition немного снижается до 48.6%.
Таким образом, чтобы достичь ощутимых результатов, ИИ недостаточно просто копировать и комбинировать человеческие наработки. Он должен анализировать собственный опыт, учиться на своих же удачах и провалах, синтезируя более совершенные решения.
🟡Страница проекта
🟡Arxiv
🖥GitHub
@ai_machinelearning_big_data
#AI#ML#Research#ASIARCH
📆2026-yil 7-fevral kuni TIUEvakillari sun’iy intellekt (AI) va IT sohasidagi karyeraga bag‘ishlangan IT Community of Uzbekistan Roadshow tadbirida ishtirok etdilar. Tadbir formati master-klasslar, netvorking va pitching sessiyalarini o‘z ichiga olib, O‘zbekiston hududlarida IT-ekotizimini rivojlantirishga qaratildi.
Roadshow doirasida IT Community of Uzbekistan rahbari Shavkat Karimov, Women in Tech tashkiloti vakiliAnna Ambrozevich, shuningdek The Nippon Foundationijrochi direktoriTakashi Arikava bilan ishchi uchrashuvlar va muzokaralar bo‘lib o‘tdi.🤝
〰️〰️〰️
📆7 февраля 2026 годапредставителиTIUE приняли участие в Roadshow IT Community of Uzbekistan, посвящённом искусственному интеллекту (AI) и карьере в IT. Формат мероприятия включал мастер-классы, нетворкинг и питчинг-сессии и был направлен на развитие IT-экосистемы в регионах Узбекистана.
В рамках Roadshow состоялись рабочие встречи и переговоры с главами IT Community of Uzbekistan —Шавкатом Каримовым,Women in Tech —Анной Амброзевич, а также исполнительным директором The Nippon Foundation Такаши Арикава.🤝
#TIUE#ITCommunityUzbekistan#AI#TechEcosystem#DigitalDevelopment#Networking#ITUzbekistan
🌐Sayt I
✈Telegram
🌐InstagramI
📍Location
📓🦙NotebookLlama —Практически полный функционал NotebookLM — в опенсорсе.
Особенности:
✔️ Создаёт базу знаний из документов — с точным разбором через LlamaCloud
✔️ Автоматически пишет резюме и строит mind map-графы
✔️ Позволяет генерировать подкасты (работает на базе ElevenLabs)
✔️ Позволяет вести чат с агентом по документам
✔️ Метрики и аналитика через opentelemetry
🛠 Всё в открытом репо — можешь форкать, кастомизировать, заменять компоненты под себя.
Установка:
git clone https://github.com/run-llama/notebookllama
▪GitHub: https://github.com/run-llama/notebookllama
▪Попробовать в LlamaCloud: https://cloud.llamaindex.ai
@ai_machinelearning_big_data
#AI#ML#LLM#opensource#NotebookLM
🌟 Дорогие друзья! 🌟
Спасибо за ваши комментарии и активное участие! Мы ценим каждое ваше мнение и рады сообщить, что записали для вас видео с ответами на ваши вопросы для нашего поста https://t.me/LtGroupOtoplenie/487. 🎥✨
В этих видео мы постарались раскрыть все интересующие вас темы и постараемся дать максимально полные и полезные ответы. Не пропустите!
⚪️
Ваше мнение очень важно для нас, поэтому не стесняйтесь оставлять комментарии
⚫️и задавать новые вопросы. Мы всегда готовы к диалогу!
Спасибо, что вы с нами!
⚪️
#видео#ответы#вопросы#обсуждение
🌍 GLOBAL SIGNAL LIVE
Will Trump and Xi Jinping meet in Shanghai on May 14–15?
This is where geopolitics meets markets.
👉 Trade the outcome
👉 Validate the truth
👉 Earn from accuracy
Enter the market:
https://edgemarket.ai/bnb/social-media/will-trump-and-xi-jinping-meet-in-shahghai-on-may-14-15/statistics/69f33132422739f60021e2e3
#EdgeMarket#PredictionMarkets#AI#Crypto#TON#SIGNAL#BETON