Post #13842

Мы все не перестаем восхищаться постами Д.А. Медведева. Но оказывается, что все это изучается. Вот, например, статья, в которой представлена интегрированная модель таксономии явного и неявного оскорбительного языка. Авторы предлагают единую четкую систему классификации оскорблений в интернете, особенно в социальных сетях. Авторы выделяют два направления: явный оскорбительный язык, когда оскорбление выражено прямо словами, и неявный, когда оно спрятано за иронией, метафорой, преувеличением и подобными средствами, и его нужно самостоятельно интерпретировать. В статье пересмотрена и улучшена классификация явного оскорбительного языка на основе анализа более шестидесяти корпусов и датасетов, а также в создании общей модели, которая связывает явные и неявные формы в одну иерархическую систему. Авторы также проверяют эту систему с помощью компьютерных методов, таких как векторные представления слов. Оскорбление понимается как действие, словесное или поведенческое, которое унижает лицо человека или группы. Оно возникает, когда говорящий намеренно атакует, слушающий воспринимает это как атаку или происходит сочетание обоих случаев. Оскорбительный язык вызывает эмоциональную или моральную реакцию: обиду, злость, стыд, страх и тому подобное. Главной супер-категорией выступает offensive language, то есть оскорбительный язык. Под ней выделяется семнадцать основных категорий, которые организованы иерархически в четыре уровня. Среди них offensive как самое широкое понятие, taboo для табуированных слов, связанных с религией, сексом или телесными выделениями, profane для профанных выражений, где религиозные слова используются в бранном смысле, vulgar для вульгарных слов, связанных с сексом, испражнениями или смертью. Далее идут insulting для насмешек и грубости, направленных на эмоции, abusive как более сильная форма унижения, hate speech для языка ненависти, который унижает группы по признаку расы, пола, ориентации или национальности, включая подтипы вроде racist и homophobic. Slur обозначает уничижительные клички групп, harassment — преследование, threat — угрозу, cyberbullying — повторяющееся агрессивное поведение в сети, toxic для сильно вредного языка, hostile для враждебного языка и discrediting для подрыва репутации. Некоторые категории сочетаются, например vulgar с obscene или slur. Неявный оскорбительный язык раньше почти не изучался подробно. Авторы предлагают модель, основанную на теориях Грайса. Они выделяют четыре основные категории: irony и sarcasm, когда говорят противоположное тому, что имеют в виду, metaphor включая сравнения и метонимию, overstatement для сильного преувеличения и understatement для преуменьшения. Дополнительно вводится indirectness как косвенное выражение без фигуральности, например когда вопрос используется вместо просьбы или приказа. Неявный язык требует от слушателя дополнительных усилий для понимания, его можно отрицать, и он часто сочетается с явными ругательствами. Авторы собрали двадцать пять английских датасетов с размеченным оскорбительным контентом. С помощью методов Word2Vec и fastText они построили векторные представления категорий и посчитали степень их сходства. Результаты в целом подтверждают предложенную классификацию: некоторые категории четко отделяются, например cyberbullying, harassment, threat и discredit, другие сильно пересекаются, как racist с homophobic и hateful или profane с vulgar. Общая категория offensive действительно служит общим зонтиком для всех остальных. В итоге исследование показывает, что оскорбительный язык является градуированным явлением, а не простым бинарным делением. Нужна лингвистически обоснованная таксономия, а не только разметка от добровольцев. Явный и неявный оскорбительный язык тесно связаны и могут встречаться вместе в одном высказывании. Предложенная модель помогает лучше понимать, выявлять и автоматически определять токсичный контент в социальных сетях. Она полезна для разработчиков систем модерации, лингвистов, исследователей агрессии в интернете и юристов.