Post #8139

ИИ без серверов: новый метод позволяет запускать LLM на обычных устройствах Российские учёные Yandex Research и НИУ ВШЭ совместно с коллегами из ведущих мировых вузов (MIT, ISTA и KAUST) разработали метод Hadamard Incoherence with Gaussian MSE-optimal GridS (HIGGS) для сжатия больших языковых моделей (LLM) без потери качества. Теперь ИИ можно запускать на обычных ноутбуках и смартфонах без серверов и графических ускорителей. Метод не требует дообучения и сложной оптимизации, ускоряет внедрение ИИ-решений и снижает затраты. HIGGS уже протестирован на Llama 3 и Qwen 2.5, показав лучшие результаты по соотношению качества и размера модели. Мы из будущего