Post #1094

Изучаем подробный материал Брендана Рорера о трансформерах – той самой архитектуре, на которой построены современные языковые модели. Он объясняет простую (и в то же время фундаментальную) вещь: как текст превращается в числа – и обратно в связную последовательность высказываний. Слова кодируются, превращаются в векторы, затем модель с помощью механизма внимания определяет, какие части текста важны, и на этой основе предсказывает следующее слово. Шаг за шагом – получается осмысленный текст. Никакой магии и «эмпатии» – только математика, вероятности и огромные массивы данных. 🙂Что еще почитать: • Статьи «Как работают трансформеры» и «Что такое рассуждающая языковая модель и как она работает» в «Системном Блоке» • Книга «Практическое руководство по большим языковым моделям» Джея Аламмара и Маартена Гроотендорста.