Поисковые системы игнорирующие директивы

Поисковые системы, которые игнорируют директивы файла robots.txt, а также полностью кладут на .htaccess и все запреты в нем.

Совсем циничных поисковиков у нас 3 штуки:
- Bing (MSN)
- Yahoo
- Google

Очень часто к ним присоединяется Яндекс, но частично он все-таки потом убирает из индекса страницы, которые запрещены к индексации.

Что прописано в роботс.txt? - полный запрет на индексацию.
Что прописано в .htaccess? - блок ботов по юзерагентам и IP адресам.

Результат - его нет, не слушаются они :) Другие поисковики не тестил, мне они не интересны.

Затрагиваемые темы: ,