Post #395

Введение в квантование LLM Инференс современных LLM на потребительских видеокартах невозможен без квантования. В новой статье мы обсудим два основных метода квантования, которые можно считать надёжными базовыми подходами. В статье рассказали: - как 1% весов могут испортить всё - почему обычное округление — не лучший вариант - зачем нужны случайные ортогональные матрицы в квантовании Читайте по ссылке! И подписывайтесь на DeepSchool