Post #468

Почему лучше всего LLM разумею езык польски? Ml оперирует не словами, а их обрывками В славянских языках морфология слова (приставки/корни/окончания и тп) дают большую часть смысла, а в английском уже большее значение имеет контекст При токенизации эти связи начинают теряться А китайскому еще не повезло и с длинной смыслов: фразы почти вдвое длиннее, а значит, окно контекста меньше вместит и меньше связей наловит Удивительно, насколько выбранный (пока не понятно почему) в древности тот или иной исторический склад языков становится преимуществом в цифровую эпоху И как преимущество «древней китайской цивилизации» становится препятствием к ее развитию - очень архаичное иероглифическое письмо и стара path-dependent структура языка (это как эффект qwerty - неудобно, но менять очень дорого) В общем, задавать вопросы по русски - правильно с точки зрения глубины смыслов Не удивительно