Post #106

​​Типы механизмов внимания В целом механизмы внимания в компьютерном зрении можно разделить на следующие категории: 1. Поканальный механизм внимания (Channel attention - НА ЧТО обращать внимание); 2. Пространственный механизм внимания (Spatial attention - КУДА обращать внимание); 3. Временной (эволюционный) механизм внимания (Temporal Attention - КОГДА обращать внимание); 4. Блочный\веточный механизм внимания (Branch attention - ЧТО должно обратить внимание). Также существуют архитектуры, которые являются представителями нескольких категорий механизмов внимания одновременно. Рисунок 1 представляет диаграмму категоризации механизмов внимания в компьютерном зрении. Формула 1 обобщает практически все существующие реализации механизмов внимания. Эту формулу стоит запомнить как для общего развития, так и для ответов на собеседованиях. Формула 2 — известный вам из предыдущего поста self-attention . Формула 3 — SE-блок.