Shavkatov’s Blog - обзоры веб 2.0 сервисов

Этот сайт содержит информацию о стандарте на robots.txt и другие статьи о написании корректно себя ведущих веб-роботов.

ЧаВо по веб-роботам — часто задаваемые вопросы о веб-роботах от пользователей, авторов и разработчиков.
Стандарт исключения роботов — узнайте, что вы можете сделать, чтобы управлять Роботами, которые посещают ваш веб-сайт
Роботы Рунета — разделы по роботам, наиболее часто встречающимся на просторах Рунета
Частые ошибки в robots.txt — список наиболее частых [...]