Post #605

UPD #семинар в четверг: ЧЕТВЕРГ (6 июня) — Открытый семинар лаборатории №11 ◼️15:00, аудитория 307 ИППИ Тип семинара:Доклад по материалам научной публикации Докладчик:Антон Всеволодович Трусов, МФТИ, ФИЦ ИУ РАН, Smart Engines Тема: 4,6-битное квантование как метод быстрого и точного вычисления нейронных сетей на ЦПУ Аннотация: В данном докладе рассматривается новая схема квантования нейронных сетей с 4,6-битной точностью. Она обеспечивает эффективное использование ресурсов ЦПУ. Эта схема обладает бОльшим количеством квантованных уровней по сравнению с 4-битным квантованием, обеспечивая более высокую точность и сохраняя высокую вычислительную эффективность. Эксперименты с различными свёрточными нейронными сетями на наборах данных CIFAR-10 и ImageNet показывают, что 4,6-битные квантованные сети на процессоре ARMv8 работают значительно быстрее, чем 8-битные сети, при этом не вызывают столь значительного падения качества, как 4-битные. Таким образом, 4,6-битное квантование может служить промежуточным звеном между быстрыми и неточными малобитными квантованными нейронными сетями и точными, но относительно медленными 8-битными моделями. Доклад подготовлен на основе статьи "4.6-Bit Quantization for Fast and Accurate Neural Network Inference on CPUs", опубликованной в журнале "MDPI Mathematics" (Q1 WOS&Scopus).