Robots.txt по русски
Oct
29
Этот сайт содержит информацию о стандарте на robots.txt и другие статьи о написании корректно себя ведущих веб-роботов.
- ЧаВо по веб-роботам — часто задаваемые вопросы о веб-роботах от пользователей, авторов и разработчиков.
- Стандарт исключения роботов — узнайте, что вы можете сделать, чтобы управлять Роботами, которые посещают ваш веб-сайт
- Роботы Рунета — разделы по роботам, наиболее часто встречающимся на просторах Рунета
- Частые ошибки в robots.txt — список наиболее частых ошибок, допускаемых при написании файла robots.txt
- Ссылки по теме — аналог оригинального раздела “WWW Robots Related Sites”, но дополненый и расширенный. В основном, по русскоязычной тематике.
Если вам понравился пост, подпишитесь на RSS ленту блога , или получайте обновления на вашу почту.
Рубрика: IT, robots.txt
