Яндекс вебмастеру: изменение алгоритмов

Ранее пустая директива Allow в robots.txt интерпретировалась как сигнал, запрещающий доступ к материалам ресурса. Теперь поисковые роботы перестали воспринимать её именно так.

Зачастую запрет на посещение индексирующими роботами всех страниц сайта устанавливался в robots.txt ошибочно. Тем не менее, такая ошибка закрывала доступ к ресурсам и препятствовала их индексации. Некоторые подобные ошибки были связаны с применением пустой директивы Allow.

Данное правило ранее робот воспринимал как безоговорочный запрет на доступ. Сайты с пустой директивой Allow были недоступны для роботов-поисковиков, поэтому подобные ресурсы не имели возможности претендовать на достойные места в результатах выдачи по запросам пользователей. Зачастую эта ситуация действительно являлась результатом ошибки, потому что при умышленном запрете на посещение сайта владельцы ресурса обычно прописывали команду запрета вполне определенно и недвусмысленно.  

Чтобы исключить негативные последствия такой ошибки, сегодня обработка роботом пустой директивы изменена: если она обнаружится в robots.txt, то будет игнорироваться. Но на некоторых сайтах пустое правило Allow умышленно использовано в robots.txt. Для тех, кто намерен сохранить территорию сайта недоступной для поисковиков, следует произвести изменения, используя директиву Disallow.

Если у владельцев сайтов ещё остались сомнения, их можно устранить, удостоверившись на Яндекс. Вебмастере в том, что именно запрещено, а что разрешается в robots.txt. Если  действительно нужно запретить индексацию ресурса, пустых значений Allow не должно быть. 

Обновлению подвергся и алгоритм расчета тИЦ

Тематический индекс цитирования – так, как известно, расшифровывается тИЦ. Обновление алгоритма расчета этого индекса произошло 08.06.16 года. Наиболее существенные перемены произошли с механизмом очистки ссылочного сигнала. Сам алгоритм расчета был очищен от многих показателей, которые успели устареть.

В результате, если абсолютное значение тИЦ и было изменено для каждого конкретного ресурса, то основные свойства общего распределения оказалось в неприкосновенности. Наиболее авторитетные сайты и сейчас имеют самые высокие значения этого индекса.