Файл robots.txt

  Многие веб-мастера задаются вопросом: Почему с самого начала создания сайта в файловом менеджере отсутствует файл robots.txt?

   Ответ прост -  стандартный файл robots.txt уже есть на Вашем сайте, но он невидим, так как это системный файл, и он скрыт от прямого доступа.

   Но Вы его всегда сможете просмотреть в своем браузере по адресу:

   http://имя вашего сайта/robots.txt.

    Robots.txt, конечно же, всегда можно заменить собственным, но если у Вас нет опыта в этом вопросе, то ни в коем случае этого не стоит делать, иначе только навредите себе. А если Вы все же захотите его изменить, то просто загрузите свой файл с тем же названием. После того, как Вы загрузите свой роботтекст, он появится в файловом менеджере и станет видимым.

   Теперь разберемся, как сделать, чтобы определенные страницы (по Вашему усмотрению) не индексировались поисковыми роботами.

  Итак, допустим, Вы хотите, чтобы следующие 2 страницы сайта не индексировались:

 http://имя сайта/index/0-2

 http://имя сайта/index/0-3

   Для этого Вам необходимо добавить в robots.txt:

 /index/0-2 

/index/0-3

   Но! Эту процедуру можно делать только тогда, когда на Вашем сайте UcoZa уже закончился карантин. Добавленные правила полностью запретят индексацию данных страниц поисковыми машинами.

   P.S. Не знаете, как проверить находится ли Ваш сайт на карантине?

         !!! Совет: Откройте свой robots.txt (напоминаю, он находится по адресу: http://имя вашего сайта/robots.txt). 

             Если карантин на сайте снят, то в строке User-agent будет символ '*'