Recent posts
Page 57 of 68 · 812 posts
Posted Jul 9
Это, возможно, старейшая протоматематическая идея. "Жесткость" таких объектов, как 1, 2, 3…, такова, что первые натуральные числа обретают символический и религиозный смысл во многих культурах Христианская Троица и буддисткая нирвана: слово ‘нирвана’ происходит от санскритского nir-dva-n-dva, где dva так и значит ‘два’, а все выражение подразумевает, что состояние абсолютного блаженства будет достигнуто, когда человек подавит индивидуальное существование и будет составлять "одно" с Вселенной Юрий Манин, "Математика как метафора"
Posted Jul 8
"Личностные качества" определённым образом обученной и стабилизированной по этим "личностным качествам" большой языковой модели, оцененные по её вербальному самоотчёту (типа "agreeableness" из "большой пятерки"), в меньшей степени предсказывают её реальное поведение, чем у людей Это существенный вывод для алаймента (и особенно, конечно, для супералаймента) – чтобы понять, насколько определённым образом обученная и стабилизированная по своим "личностным качествам" конкретная модель согласована с целями и ценностями человека, надо меньше доверять её вербальному самоотчёту и больше тестировать её реальное поведение, а также смотреть непосредственно "вглубь" её конкретных активационно-нейросетевых механизмов, обеспечивающих это реальное поведение https://openreview.net/forum?id=pdLNGgdO1A
Posted Jul 7
Early Signs of Steganographic Capabilities in Frontier LLMs https://arxiv.org/abs/2507.02737
Posted Jul 7
В ближайшее десятилетие человечеству придется координировать не только миллиарды людей, но и десятки миллиардов ML-агентов, действующих от их имени Это требует создания новой системы измерения - "Агентной переписи" Сейчас ML-агенты выполняют относительно простые задачи - помогают писать код, отвечают на вопросы, анализируют данные Но каждый месяц эти агенты становятся более способными Традиционные статистические системы не имеют системы для измерения возможностей ML-агентов или их экономического влияния Решение MIT - Большие популяционные модели (LPM), которые могут симулировать миллионы отдельных людей, взаимодействующих в реалистичных экономических условиях LPM уже работают с традиционными данными переписи и могут моделировать различные сценарии экономических изменений Недостающее звено - данные о популяции агентов Для решения этой проблемы создается NANDA Registry - инфраструктура для идентификации агентов, каталогизации их возможностей и мониторинга того, как они координируются с людьми и другими агентами Проект Iceberg объединяет традиционные данные переписи о работниках с данными о возможностях агентов из NANDA Registry, затем использует LPM для симуляции трансформации рабочей силы во всех 50 штатах Если мы не построим публичную инфраструктуру для Агентной переписи, частные платформы будут контролировать эту информацию исключительно Компании, создающие ML-агентов, будут видеть экономические сбои раньше местных лидеров
Posted Jul 7
Исследователи протестировали GPT-4o, Claude 3.5 Sonnet, Gemini, Llama и др. на стандартных задачах компьютерного зрения: сегментация, оценка глубины и др., используя известные датасеты (COCO, ImageNet) Хотя эти модели показывают большой прогресс, их реальное понимание визуальной информации, например, геометрии объектов не такое качественное Основные итоги: 1. Мультимодальные модели — хорошие "универсалы", но уступают специализированным Они хуже решают конкретные задачи, например, сегментацию, чем узкоспециализированные модели, но всё равно показывают достойные результаты, учитывая, что обучались в основном на текстово-изображенческих данных Лучше справляются с семантикой, чем с геометрией 2. Рассуждающие модели, например, o3 лучше в геометрических задачах 3. Дегенеративные модели для изображений, например, GPT-4o Image Generation пока ненадежны для точных задач
Posted Jul 7
Создание квантовых алгоритмов — это искусство превращения абстрактных идей в последовательности унитарных операций Рассказываю, как строятся квантовые схемы на примере знаменитых алгоритмов Дойча и Дойча-Йожи (это первые квантовые алгоритмы, показавшие то самое квантовое превосходство) Принципы проектирования квантовых схем Квантовая схема — это визуальное представление последовательности квантовых операций В отличие от классических схем, здесь время течёт слева направо, каждая горизонтальная линия представляет кубит, а гейты упорядочиваются хронологически Главное правило: все операции должны быть обратимыми (унитарными) Ключевые элементы проектирования: - Инициализация состояний в базисе |0⟩ - Создание суперпозиции гейтами Адамара - Применение оракула для кодирования функции - Интерференция для извлечения информации - Измерение финального состояния Алгоритм Дойча: первое квантовое превосходство Алгоритм Дойча (1985) решает задачу определения типа функции f : {0, 1} → {0, 1} — константная она или сбалансированная Классически требуется два вызова функции, квантово — всего один Схема алгоритма Дойча: |0⟩ ——[H]——•——[H]——[M]— | |1⟩ ——[H]——⊕—————————— Пошаговое выполнение: - Инициализация: |ψ₀⟩ = |01⟩ - Адамар на оба кубита: |ψ₁⟩ = ½(|00⟩ – |01⟩ + |10⟩ – |11⟩) - Оракул Uf : |x⟩|y⟩ → |x⟩|y ⊕ f(x)⟩ - Адамар на первый кубит - Измерение: 0 = константная, 1 = сбалансированная Ключевая магия — фазовый откат (phase kickback). Вспомогательный кубит в состоянии 1/√2(|0⟩ – |1⟩) превращает операцию XOR в фазовый сдвиг: |x⟩|y ⊕ f(x)⟩ = (-1)^f(x)|x⟩|y⟩ Расширение до алгоритма Дойча-Йожи В 1992 году Дэвид Дойч и Ричард Йожа обобщили алгоритм для функций f : {0, 1}^n → {0, 1} Классически требуется 2^(n – 1) + 1 вызовов в худшем случае, квантово — один Схема Дойча-Йожи: |0⟩⊗n ——[H⊗n]——————•——————[H⊗n]——[M⊗n]— | |1⟩ ————[H]—————————⊕———————————————————— Принцип работы: - Создание суперпозиции всех входов: 1/√(2^n)Σ_(x=0)^(2^n–1) |x⟩ - Параллельное вычисление f(x) для всех возможных значений x одновременно - Интерференция состояний для выделения глобального свойства После оракула состояние принимает вид: 1/√2:(n+1)Σ_(x=0)^(2^n–1)(−1)^(f(x))∣x⟩∣χ⟩, где |χ⟩ = |0⟩ – |1⟩ Финальное преобразование Адамара даёт амплитуду для состояния |0^n⟩: 1/2^n∑_(x=0)^(2^n–1)(−1)^(f(x)). Эта сумма равна ±1 для константных функций и 0 для сбалансированных Практическая реализация на Qiskit from qiskit import QuantumCircuit, QuantumRegister, ClassicalRegister def deutsch_jozsa_circuit(n, oracle): qc = QuantumCircuit(n+1, n) # Инициализация qc.x(n) # Ancilla в |1⟩ qc.h(range(n+1)) # Адамар на все кубиты # Оракул qc.append(oracle, range(n+1)) # Интерференция qc.h(range(n)) # Измерение qc.measure(range(n), range(n)) return qc Визуализация через Quirk Quirk — это браузерный drag-and-drop симулятор квантовых схем с реальным временем визуализации Доступен по адресу https://algassert.com/quirk без установки. Возможности Quirk: - Перетаскивание гейтов в реальном времени - Мгновенная симуляция до 16 кубитов - Визуализация состояний через амплитуды и вероятности - Интерактивные дисплеи включая сферы Блоха - Сохранение схем через закладки Для алгоритма Дойча в Quirk: - Добавьте 2 кубита - Примените X-гейт ко второму кубиту - Добавьте H-гейты к обоим кубитам - Вставьте оракул (например, CNOT для сбалансированной функции) - Примените H-гейт к первому кубиту - Наблюдайте результат в реальном времени Преимущества визуализации: Quirk показывает эволюцию амплитуд на каждом шаге, помогая понять, как суперпозиция и интерференция работают вместе для извлечения глобальной информации о функции Алгоритмы Дойча и Дойча-Йожи демонстрируют фундаментальный принцип квантовых вычислений: использование суперпозиции для параллельной обработки и интерференции для извлечения информации Эти простые схемы заложили основу для более сложных алгоритмов вроде Гровера и Шора
Posted Jul 6
Нарциссические числа неслучайно так называются Ну как можно не любоваться собой в зеркале, если ты состоишь из N цифр и равняешься сумме N-х степеней этих цифр? Самое маленькое из таких чисел, если не считать тривиальных случаев одиночных цифр, это 153: 153 = 1^3 + 5^3 + 3^3 Трехзначных нарциссов имеется еще три: 370 , 371 , 407 А есть и два 39-значных, причем идущих подряд: 115132219018763992565095597973971522400 , 115132219018763992565095597973971522401 подробнее — https://mathworld.wolfram.com/NarcissisticNumber.html
Posted Jul 6
Существует не одна, а много математик, и каждая из них по ряду причин не удовлетворяет математиков, принадлежащих к другим школам Стало ясно, что представление о своде общепринятых, незыблемых истин — величественной математике начала XIX в., гордости человека — не более чем заблуждение На смену уверенности и благодушию, царившим в прошлом, пришли неуверенность и сомнения в будущем математики Разногласия по поводу оснований самой «незыблемой» из наук вызвали удивление и разочарование (чтобы не сказать больше) Нынешнее состояние математики — не более чем жалкая пародия на математику прошлого с ее глубоко укоренившейся и широко известной репутацией безупречного идеала истинности и логического совершенства (Морис Клайн, "Математика. Утрата определенности")
Posted Jul 6
Председатель назвал данные основополагающим ресурсом «с революционным воздействием» на международную конкуренцию Масштаб этого видения не имеет себе равных, затрагивая все: от гражданских свобод до прибылей интернет-компаний и стремления Китая к лидерству в области машинного обучения С 2021 года Китай начал внедрять правила, вдохновлённые европейским GDPR Однако на практике он быстро начал расходиться с западными нормами Все уровни власти теперь обязаны инвентаризировать и классифицировать свои массивы данных Государственные компании проходят переоценку, где данные рассматриваются как активы, подлежащие учёту в балансах или торговле на биржевых платформах Опубликован новый норматив, обязывающий все государственные органы обмениваться информацией между собой. Следующий шаг — цифровое удостоверение личности В рамках этого процесса центральные органы власти смогут контролировать реестр веб-сайтов и приложений каждого человека Для крупных технологических компаний, которые раньше управляли системой, станет сложнее связать имя человека с его онлайн-активностью— им останется только обезличенный цифровой идентификатор Но именно у государства появится возможность выстроить прозрачный и тотальный механизм онлайн-наблюдения за гражданином В долгосрочной перспективе Пекин строит то, что можно назвать «национальным океаном данных» — ML систему, охватывающую не только потребительскую сферу, но и промышленное производство, логистику, энергетику и госуправление Преимущества такой системы очевидны: масштабируемость, удешевление ML-разработок Новая модель куда более централизована и технологически изощрённа Она может стать не просто инструментом управления, а основой цифровой автократии Опыт Китая становится вызовом для всего остального мира В США обсуждается возможность привлечения частных подрядчиков, таких как Palantir, к консолидации государственных баз данных Европейский союз, вероятно, пересмотрит правила GDPR Индия с её системой Aadhaar делает ставку на цифровую идентичность, но пытается сохранить баланс между конфиденциальностью и экономическим развитием В западных странах задача сложнее: здесь необходимо не только обеспечить эффективность, но и встроить в систему сдержки и противовесы, защищающие частную собственность, права человека и свободу Китай может позволить себе меньше внимания уделять таким вещам и построит эффективную и антиутопическую систему наблюдения Десятилетиями он был «быстрым последователем» западных инноваций Если Китай сейчас вырвется вперед, показывая финансовую ценность своего национального океана данных, его метод централизации станет не только экономической проблемой, но и политической Эта модель бросит вызов самой идее того, как должны быть устроены государство, рынок и свобода в XXI веке
Posted Jul 3
Data curation for general reasoning capabilities is still relatively underexplored Researchers systematically compare different metrics for selecting high-quality and diverse reasoning traces in terms of data efficiency in the distillation setting Researchers find diversity in reasoning strategies matters more than topics diversity, and challenging questions are more sample efficient in distilling reasoning capabilities Researchers find that the Less-Is-More approach is not sufficient for solving general reasoning tasks, but scaling up data quantity always brings consistent gains Researchers find that NaturalThoughts outperforms state-of-the-art reasoning datasets such as OpenThoughts3, LIMO, S1k, etc. on general STEM domains Also find that distillation based on reasoning difficulty can improve the pareto frontier of the student model’s inference efficiency Training with a mix of full reasoning traces and the condensed answers enables efficient hybrid reasoning in the student model, by adaptively switching between long chain-of-thought thinking and directly answering
Posted Jul 3
Together AI introduced DeepSWE is a new SOTA open-source software engineering model trained entirely using reinforcement learning, based on Qwen3-32B DeepSWE is trained with rLLM, Agentica’s modular RL post-training framework for agents rLLM makes it easy to build, train, and deploy RL-tuned agents on real-world workloads — from software engineering to web navigation and beyond Train DeepSWE yourself. Extend it. Build your own local agents
Posted Jul 2
NVIDIA и Georgia Tech утверждает, что будущее агентного ИИ за малыми языковыми моделями (SLMs) Основная идея - для большинства повторяющихся специализированных задач огромные модели избыточны SLMs, которые помещаются на обычный компьютер, могут эффективнее справляться с рутинными операциями, экономя ресурсы и деньги Исследователи создали бенчмарк на основе соревнования по ускорению обучения GPT-2, где сообщество сократило время с 45 до 3 минут В результате даже лучшие модели (o3-mini, Claude 3.7, Gemini-2.5-Pro, DeepSeek-R1) восстанавливают менее половины улучшений, даже когда им дают подробные инструкции Исследователи выявили несколько ключевых проблем: - Агенты часто не могут правильно реализовать даже описанные изменения - Сложности с пониманием и применением новых техник - Проблемы с отладкой собственного кода - Трудности с оптимизацией производительности Получается, если большие модели не справляются с воспроизведением кода, как могут справиться малые? Ответ в типах задач NVIDIA говорит о простых повторяющихся операциях, а Meta тестирует сложное научное программирование с отладкой и оптимизацией Это разные миры сложности 1. Специализация работает, узкие модели для узких задач могут быть эффективнее универсальных 2. Автономность далека, даже с подробными инструкциями ML пока не может надёжно программировать 3. Будущее гибридное, вероятно, увидим системы из множества специализированных моделей разного размера Эти работы показывают, что путь к полноценным ML-агентам будет постепенным Экономическая оптимизация через SLMs имеет смысл, но не стоит ожидать прорывов в сложных творческих задачах Рекурсивное самоулучшение ИИ — это не внезапный скачок, а процесс, который уже идёт От IDE до GitHub Copilot — постепенно автоматизируют всё больше При этом nanoGPT — это всего 750 строк учебного кода, а реальные системы в сотни раз сложнее Специализация неизбежна, но до автономных ИИ-исследователей ещё далеко