Частым вопросом, по проведенному мной семинару, является вопрос по защите от стука конкурентов.

Как защититься при том что по IP адресу можно посмотреть какие сайты на нем висят, ведь многие покупают выделенные IP-адреса.

При этом многие не хотят сильно палиться (как они считают) и прописывать в robots.txt строчку с запретом

User-agent: msnbot
Disallow: /

А ведь именно по MSN многие смотрят "а что лежит интересного на этом IP :) ?", задавая запрос к поисковику ip:***.***.***.***
В том числе и я пополняю свой список спамеров по блогам, этим путем. Накопилось там уже 306 сайтов.

Итак, у Вас есть VPS или в какой-то другой более или менее извращенной форме Вы размещаете на выделенных IP свои сателлиты и сети сайтов, а так как это довольно дорогое мероприятие, если говорить о промышленных масштабах, то не хочется терять сеть сайтов из-за того что кто-то ее спалит.

Аренда сайтов

Можно обойтись и без robots.txt, многие почему-то задают вопрос, но забывают о старейшем способе блокировки IP ботов определенной поисковой системы через .htaccess !

Просто берем и прописываем:

Order Allow,Deny
Allow from all
Deny from 65.54.112.146
Deny from 131.107.137.165 

И так мы должны забить нужные IP бота от MSN. А разместить на том-же VPS это можно не у каждого сайта в отдельности а в общей директории /home/www.

Становится актуальным вопрос: "А где взять актуальную базу IP-адресов поисковых ботов?"

Если касаться предмета разговора - то нам нужна база MSN, а кому-то особо бдительному может понадобиться "забить" и Yahoo/Inktomi ботов ;)

Для примера приведу всего один сайт, а так чуть-чуть поискав можно и другие актуальные базы найти, кто-то может и по логам цеплять эти адреса :)