Файл robots.txt на сайте ucoz
Советы от пользователя MonaX.
У многих начинающих веб-мастеров рано или поздно начинаются какие нибудь проблемы с сайтом,одной из них является файл robots.txt
Очень часто возникает вопрос о том, как правильно настроить этот файл. Открою Вам секрет - он уже настроен автоматически самой системой и его не нужно изменять. Вот так выглядит стандартный файл robots.txt на системе ucoz:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Sitemap: http://stalkersecrets.ru/sitemap.xml
Sitemap: http://stalkersecrets.ru/sitemap-forum.xml
Sitemap: http://stalkersecrets.ru/sitemap-shop.xml
Отсюда мы можем видеть, что закрыты от индексации все системные регистры, профили, чат, результаты поиска, админка, информеры и другое. Также в этом файле указаны пути к карте самого сайта, форума и магазина. Этот вариант такого файла самый удачный, так как в индекс будет попадать только контент, а не куча ненужного мусора и профили пользователей.
Удачи вам и вашему сайту!
