Насколько далеко вы готовы пойти ради экспериментов? К сожалению, извращенная фантазия и обстоятельства предоставили самый не гуманный вариант теста 404 ошибки.
Read the rest of this entry »
Сообщения с меткой .htaccess
Серверы на Apache имеют очень хорошую и полезную функцию — mod_rewrite. Эту функцию сервера зачастую сравнивают со швейцарским ножом для работы с URL, так как она несет очень важные возможности. Кому-то сегодняшний материал покажется довольно "техническим", но в SEO без этого никак.
Многие сталкивались с проблемой медленной работы блогов или своих сайтов, да нужно оптимизировать скрипты, чтобы сайт работал быстрее, но многие при этом забывают, что даже при не большой посещаемости сайт может создавать большую нагрузку и хостинг не всегда будет адекватно работать.
Поисковые системы, которые игнорируют директивы файла robots.txt, а также полностью кладут на .htaccess и все запреты в нем.
Совсем циничных поисковиков у нас 3 штуки:
- Bing (MSN)
- Yahoo
- Google
Очень часто к ним присоединяется Яндекс, но частично он все-таки потом убирает из индекса страницы, которые запрещены к индексации.
Что прописано в роботс.txt? - полный запрет на индексацию.
Что прописано в .htaccess? - блок ботов по юзерагентам и IP адресам.
Результат - его нет, не слушаются они 
Другие поисковики не тестил, мне они не интересны.
Loading ...