Post #1741

📕Словарь ИИ: разбираемся в сложных терминах Погружаясь в тонкости и различия ИИ-моделей, процесс их тренировки и запуска, вы наверняка столкнетесь с непонятными терминами. Чтобы не теряться и понимать, чем вы пользуетесь, в понятиях стоит разобраться. На самом деле в этих сложных словах нет ничего страшного. 1️⃣Инференс (Inference) — это непосредственно процесс работы нейросети, когда она уже обучена и решает вашу задачу. Говоря об инференсе, обычно рассматривают скорость работы модели (в токенах в секунду), или задержку с момента отправки запроса до получения полного ответа. 2️⃣Квантование или квантизация (Quantization) — «сжатие» нейросети путем уменьшения точности вычислений «под капотом». Условно, числа начинают округляться не до четырех знаков после запятой, а до двух. Или вовсе вместо дробных чисел используют экономящие память целые. Это позволяет запускать модель на более слабом «железе» без сильных просадок в производительности. 3️⃣Дистилляция(Distillation) — передача знаний от большой и мощной нейросети-учителя к маленькому быстрому «ученику». Так получают компактные модели, которые могли не видеть все обучающие данные «учителя», но при этом перенимают его знания. Конечно, это далеко не все. Часто можно услышать про RAG, fine-tuning, эмбеддинг, bias и многие другие вещи — разберемся с ними позже. Делаем продолжение словаря? ❤️ — да, очень полезно! 🔥 — нет, сложновато 🦄 — лучше каждый термин отдельно #теория@EDU4Telegrambot