Правильный robots.txt для uCoz и быстрая индексация сайта

ShooTeR — Tue, 03 Jan 2012 01:58:40 GMT

Всем здравствуйте!
В этой статье я расскажу как правильно заточить документ robots.txt под поисковые системы и как быстро попасть в индекс поисковых систем.
Ну начнем:
1. Создание robots.txt под uCoz

Рассмотрим основные теги этого документа:
Disallow: это дистрибутив запрещающий индексацию страницы или каталога.
Allow: это дистрибутив разрешающий индексацию страницы или каталога.
Таким образом мы можем запретить индексацию любого каталога,но [/code]разрешить индексацию некоторых страниц тогоже каталога.
Возьмем для примера модуль Каталог файлов
Каталог модуля расположен поадресу /load/
Если поставить:

Code

Disallow: /load/

Code

То каталог файлов у нас индексироватся не будет,но если нам нужны 2-3 странички этого каталога из всех (к примеру всего 10)
То в robots.txt пишем следущие строки:

Code
Allow: /load/адрес страницы

Code

Внимание: строки с разрешением индексации страницы должны быть выше чем строка с запрещением индекса каталога.
Пример:

Code
Allow: /load/адрес страницы
Allow: /load/адрес страницы
Allow: /load/адрес страницы
Disallow: /load/

Code

Таким образом у нас будет индексироватся только те страницы которые указаны под тегом Allow
Теперь разберемся с тегом User-agent
это тег открывающий информацию о боте для которого будут доступны настройки всего того что ниже.
Тег User-agent ставится в самом верху и после него указывается имя бота для проверки
например:

Code
User-agent: uBot

Code

Но если вы хотите указать для каждого бота поисковой системы,либо каталога сайтов и т.п. один и тот же дистрибутив, то ставим следущий тег:

Code
User-agent: *

Code

И ниже перечисляем запреты и открытия разных страниц и каталогов.
Итак основная работа сделана и уже можно использовать этот документ для всех ботов, но если вы хотите лучшей индексации сайта и лучшего отоброжения его поисковым системам, лучше вписать еще такие строки:

Code
Sitemap:http://www.имя.домен/sitemap.xml
Sitemap:http://www.имя.домен/sitemap-forum.xml

Code

Это адресация на стандартные карты сайта системы uCoz, если у вас есть свой карта сайта, впишите свою.
Далее тоже не маловажно указать основной домен сайта.
(Если у вас стандартный домен от uCoz то вам ничего делать ненадо)
Если же вы прикрепили какой то домен к сайту, к примеру возьмем net.ru
Он будет отображаться поисковикам как зеркальный домен и будет хуже индексироватся чем основной.
Поэтому многие ошибочно говорят что net.ru и другие подобные домены хуже индексируются чем стандартные от uCoz.
Для того что бы поисковый бот определил прикрепленный домен как основной нам надо прописать в robots.txt такую строчку:
Host: www.имя-сайта.домен
Пример:
[code]Code

Host: www.all-design.ucoz.com

Code

Также есть еще много всего,но это особо ненужно и уже по этой инструкции можно составить отличный robots.txt для поисковиков.
Пример готового robots.txt для uCoz:
[code]
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search

Host: www.all-design.ucoz.com
Sitemap: http://www.all-design.ucoz.com/sitemap.xml
Sitemap: http://www.all-design.ucoz.com/sitemap-forum.xml

Ну вот вроде и всё что я хотел вам рассказать о Robots.txt

Советую посмотреть не требующее оплаты деловое предложение

sergeisurko — Mon, 04 Jul 2011 16:42:57 GMT

Вам может пригодится не требует финансовых вложений информация для владельцев сайтов и для тех кто желает бесплатно разместить свою статью на сайте, с возможность оставить бесплатно ссылку на сайте или другую необходимую информацию. Хочу предложить свои уникальные статьи для добавления на вашем сайте. Без финансовых вложений и удобно всем, один получает уникальную статью, другой бесплатно рекламу и ссылку на свой ресурс. Ознакомится можно здесь http://adabar.ru/forum/8-9-1

Всё Ucoz,DLE,Скрипты,Шаблоны,кнопки,шаки,web-masters

Правильный robots.txt для uCoz и быстрая индексация сайта

Советую посмотреть не требующее оплаты деловое предложение