Поисковые системы, которые игнорируют директивы файла robots.txt, а также полностью кладут на .htaccess и все запреты в нем.
Совсем циничных поисковиков у нас 3 штуки:
- Bing (MSN)
- Yahoo
- Google
Очень часто к ним присоединяется Яндекс, но частично он все-таки потом убирает из индекса страницы, которые запрещены к индексации.
Что прописано в роботс.txt? - полный запрет на индексацию.
Что прописано в .htaccess? - блок ботов по юзерагентам и IP адресам.
Результат - его нет, не слушаются они 
Другие поисковики не тестил, мне они не интересны.
Loading ...