← Machinelearning
Machinelearning avatar

TGINSIGHT POST

Post #8354

@ai_machinelearning_big_data

Machinelearning

ΠŸΡ€ΠΎΡΠΌΠΎΡ‚Ρ€Ρ‹47,200ΠšΠΎΠ»ΠΈΡ‡Π΅ΡΡ‚Π²ΠΎ просмотров
ΠžΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½25 Π°Π²Π³.25.08.2025, 10:39
Π‘ΠΎΠ΄Π΅Ρ€ΠΆΠΈΠΌΠΎΠ΅ поста

Π‘ΠΎΠ΄Π΅Ρ€ΠΆΠΈΠΌΠΎΠ΅

πŸ¦ŽΠ­Π²ΠΎΠ»ΡŽΡ†ΠΈΡ ИИ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, вдохновлСнная ΠΏΡ€ΠΈΡ€ΠΎΠ΄ΠΎΠΉ Π’ Sakana AI ΠΏΡ€Π΅Π΄Π»ΠΎΠΆΠΈΠ»ΠΈ Π½ΠΎΠ²Ρ‹ΠΉ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄: Ρ€Π°Π·Π²ΠΈΠ²Π°Ρ‚ΡŒ ИИ Π½Π΅ ΠΊΠ°ΠΊ ΠΎΠ΄ΠΈΠ½ гигантский Β«ΠΌΠΎΠ·Π³Β», Π° ΠΊΠ°ΠΊ экосистСму ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΊΠΎΠ½ΠΊΡƒΡ€ΠΈΡ€ΡƒΡŽΡ‚, ΠΎΠ±ΡŠΠ΅Π΄ΠΈΠ½ΡΡŽΡ‚ΡΡ ΠΈ ΠΎΠ±ΠΌΠ΅Π½ΠΈΠ²Π°ΡŽΡ‚ΡΡ Π½Π°Π²Ρ‹ΠΊΠ°ΠΌΠΈ. Π­Ρ‚ΠΎΡ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄ ΠΎΠ½ΠΈ Π½Π°Π·Π²Π°Π»ΠΈ M2N2 (Model Merging of Natural Niches). πŸ”‘ Как это Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ - Π“ΠΈΠ±ΠΊΠΈΠ΅ Π³Ρ€Π°Π½ΠΈΡ†Ρ‹ слияния β€” ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΎΠ±ΡŠΠ΅Π΄ΠΈΠ½ΡΡŽΡ‚ΡΡ Π½Π΅ фиксированными слоями, Π° ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹ΠΌΠΈ кусками ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ², ΠΊΠ°ΠΊ Π±ΡƒΠ΄Ρ‚ΠΎ ΠΌΠ΅Π½ΡΡŽΡ‚ΡΡ Ρ„Ρ€Π°Π³ΠΌΠ΅Π½Ρ‚Π°ΠΌΠΈ Π”ΠΠš. - ΠšΠΎΠ½ΠΊΡƒΡ€Π΅Π½Ρ†ΠΈΡ Π·Π° Π΄Π°Π½Π½Ρ‹Π΅ β€” ΠΌΠΎΠ΄Π΅Π»ΠΈ ΡΠΎΡ€Π΅Π²Π½ΡƒΡŽΡ‚ΡΡ Π·Π° ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½Π½Ρ‹Π΅ рСсурсы ΠΈ становятся «экспСртами» Π² ΡƒΠ·ΠΊΠΈΡ… областях. - Π’Ρ‹Π±ΠΎΡ€ ΠΏΠ°Ρ€Ρ‚Π½Ρ‘Ρ€ΠΎΠ² β€” для объСдинСния ΠΏΠΎΠ΄Π±ΠΈΡ€Π°ΡŽΡ‚ΡΡ Ρ‚Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π΄ΠΎΠΏΠΎΠ»Π½ΡΡŽΡ‚ Π΄Ρ€ΡƒΠ³ Π΄Ρ€ΡƒΠ³Π°: ΠΎΠ΄Π½Π° сильна Ρ‚Π°ΠΌ, Π³Π΄Π΅ другая слаба. πŸ“Š Π§Π΅Π³ΠΎ ΡƒΠ΄Π°Π»ΠΎΡΡŒ Π΄ΠΎΠ±ΠΈΡ‚ΡŒΡΡ - Π‘ нуля: Ρ‚ΠΎΠ»ΡŒΠΊΠΎ слияниСм случайных сСтСй ΡƒΠ΄Π°Π»ΠΎΡΡŒ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ классификатор MNIST, сравнимый с классичСскими ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΎΠ½Π½Ρ‹ΠΌΠΈ ΠΌΠ΅Ρ‚ΠΎΠ΄Π°ΠΌΠΈ, Π½ΠΎ быстрСС ΠΈ дСшСвлС. - ΠšΡ€ΡƒΠΏΠ½Ρ‹Π΅ LLM: объСдинСниС ΠΌΠΎΠ΄Π΅Π»ΠΈ-Β«ΠΌΠ°Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΠΊΠ°Β» ΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ-Β«Π°Π³Π΅Π½Ρ‚Π°Β» ΠΏΠΎΡ€ΠΎΠ΄ΠΈΠ»ΠΎ систСму, которая ΡƒΠ²Π΅Ρ€Π΅Π½Π½ΠΎ справляСтся с ΠΎΠ±ΠΎΠΈΠΌΠΈ Ρ‚ΠΈΠΏΠ°ΠΌΠΈ Π·Π°Π΄Π°Ρ‡. - ΠœΡƒΠ»ΡŒΡ‚ΠΈΠΌΠΎΠ΄Π°Π»ΡŒΠ½Ρ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ: ΠΏΡ€ΠΈ слиянии text-to-image ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ для японского итоговая вСрсия стала Π»ΡƒΡ‡ΡˆΠ΅ ΠΏΠΎΠ½ΠΈΠΌΠ°Ρ‚ΡŒ японскиС запросы ΠΈ ΠΏΡ€ΠΈ этом сохранила ΡΠΈΠ»ΡŒΠ½Ρ‹ΠΉ английский β€” Π±Π΅Π· «забывания» старых Π½Π°Π²Ρ‹ΠΊΠΎΠ². Π­Ρ‚ΠΎΡ‚ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ ΠΏΠΎΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ Π±ΡƒΠ΄ΡƒΡ‰Π΅Π΅ ИИ ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ Π½Π΅ Π·Π° ΠΎΠ΄Π½ΠΈΠΌ ΠΎΠ³Ρ€ΠΎΠΌΠ½Ρ‹ΠΌ ΠΌΠΎΠ½ΠΎΠ»ΠΈΡ‚ΠΎΠΌ, Π° Π·Π° ΠΆΠΈΠ²ΠΎΠΉ экосистСмой спСциализированных ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΡΠ²ΠΎΠ»ΡŽΡ†ΠΈΠΎΠ½ΠΈΡ€ΡƒΡŽΡ‚ вмСстС, ΠΎΠ±ΠΌΠ΅Π½ΠΈΠ²Π°ΡŽΡ‚ΡΡ ΡΠΈΠ»ΡŒΠ½Ρ‹ΠΌΠΈ сторонами ΠΈ становятся Π±ΠΎΠ»Π΅Π΅ Π³ΠΈΠ±ΠΊΠΈΠΌΠΈ ΠΈ ΠΊΡ€Π΅Π°Ρ‚ΠΈΠ²Π½Ρ‹ΠΌΠΈ. 🟠Paper: https://arxiv.org/abs/2508.16204 🟠Code: https://github.com/SakanaAI/natural_niches @ai_machinelearning_big_data