Post #5812

С 1 июля Reddit обновил свой robots.txt, теперь всем ботам кроме гугла запрещено индексировать форумы и получать новые сообщения. Бинг вот уже подтвердил, что они следуют этому, и нового контента пока не будет. Почему гуглу можно — гугл платит деньги за эту индексацию, подписан прямой контракт с Reddit, по которому гугл сможет использовать эти данные для обучения своих языковых моделей. https://searchengineland.com/microsoft-confirms-reddit-blocked-bing-search-444385