robots.txt

Чтобы сказать роботам, куда нельзя лезть и сколько обращений можно делать - нужен файл robots.txt

Документ, как составлять, что писать. Достаточно подробное описание.
http://help.yandex.ru/webmaster/?id=996567

Автоматическое создание файла: http://htmlweb.ru/analiz/robots.php

Проверить правильность: http://webmaster.yandex.ru/robots.xml

Еще полезный сайт по теме: http://robotstxt.org.ru/
Очень много полезных ссылок и информации.