Правильный robots.txt для uCoz и быстрая индексация сайта Всем здравствуйте!
В этой статье я расскажу как правильно заточить документ robots.txt под поисковые системы и как быстро попасть в индекс поисковых систем.
Ну начнем:
1. Создание robots.txt под uCoz
Рассмотрим основные теги этого документа:
Disallow: это дистрибутив запрещающий индексацию страницы или каталога.
Allow: это дистрибутив разрешающий индексацию страницы или каталога.
Таким образом мы можем запретить индексацию любого каталога,но [/code]разрешить индексацию некоторых страниц тогоже каталога.
Возьмем для примера модуль Каталог файлов
Каталог модуля расположен поадресу /load/
Если поставить:
Code
То каталог файлов у нас индексироватся не будет,но если нам нужны 2-3 странички этого каталога из всех (к примеру всего 10)
То в robots.txt пишем следущие строки:
Allow: /load/адрес страницы
Code
Внимание: строки с разрешением индексации страницы должны быть выше чем строка с запрещением индекса каталога.
Пример:
Allow: /load/адрес страницы
Allow: /load/адрес страницы
Allow: /load/адрес страницы
Disallow: /load/
Code
Таким образом у нас будет индексироватся только те страницы которые указаны под тегом Allow
Теперь разберемся с тегом User-agent
это тег открывающий информацию о боте для которого будут доступны настройки всего того что ниже.
Тег User-agent ставится в самом верху и после него указывается имя бота для проверки
например:
User-agent: uBot
Code
Но если вы хотите указать для каждого бота поисковой системы,либо каталога сайтов и т.п. один и тот же дистрибутив, то ставим следущий тег:
User-agent: *
Code
И ниже перечисляем запреты и открытия разных страниц и каталогов.
Итак основная работа сделана и уже можно использовать этот документ для всех ботов, но если вы хотите лучшей индексации сайта и лучшего отоброжения его поисковым системам, лучше вписать еще такие строки:
Sitemap:http://www.имя.домен/sitemap.xml
Sitemap:http://www.имя.домен/sitemap-forum.xml
Code
Это адресация на стандартные карты сайта системы uCoz, если у вас есть свой карта сайта, впишите свою.
Далее тоже не маловажно указать основной домен сайта.
(Если у вас стандартный домен от uCoz то вам ничего делать ненадо)
Если же вы прикрепили какой то домен к сайту, к примеру возьмем net.ru
Он будет отображаться поисковикам как зеркальный домен и будет хуже индексироватся чем основной.
Поэтому многие ошибочно говорят что net.ru и другие подобные домены хуже индексируются чем стандартные от uCoz.
Для того что бы поисковый бот определил прикрепленный домен как основной нам надо прописать в robots.txt такую строчку:
Host: www.имя-сайта.домен
Пример:
[code]Code
Host: www.all-design.ucoz.com
Code
Также есть еще много всего,но это особо ненужно и уже по этой инструкции можно составить отличный robots.txt для поисковиков.
Пример готового robots.txt для uCoz:
[code]
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Host: www.all-design.ucoz.com
Sitemap: http://www.all-design.ucoz.com/sitemap.xml
Sitemap: http://www.all-design.ucoz.com/sitemap-forum.xml Ну вот вроде и всё что я хотел вам рассказать о Robots.txt
