Идет загрузка...

Добро пожаловать на сайт infoseo.
Если вы хотите иметь полноценные возможности на сайте, вам необходимо зарегистрироваться или зайти в свой профиль.
Войти в личный кабинет или зарегистрироваться
Навигация сайта
Это интересно!
Новостная лента
Статистика


Онлайн всего: 1
Гостей: 1
Пользователей: 0
Мы в vk.ком
Быстрый вопрос
Вы задаете вопросы, а мы отвечаем! Вопросы по SEO & SMM.
Задать вопрос | ask.fm/Infoseo
Советуем скачать
Последнее на форуме
Главная » Статьи » SEO
Robots.txt

Хотелось бы уделить внимание robots.txt. 
Мы его настраивали так, чтобы индексировались только информативные страницы, а не все подряд. (Ну например зачем нам в индексе страница регистрации или форма входа?) И поэтому наш сайт индексируется быстрее чем какой либо другой.

Вот так выглядит правильно настроенный robots.txt

User-agent: *Disallow: /a/ 
Disallow: /stat/ 
Disallow: /index/1 
Disallow: /index/2 
Disallow: /index/3 
Disallow: /index/5 
Disallow: /index/7 
Disallow: /index/8 
Disallow: /index/9 
Disallow: /panel/ 
Disallow: /admin/ 
Disallow: /secure/ 
Disallow: /informer/ 
Disallow: /mchat 
Disallow: /search 
Disallow: /shop/order/ 
Disallow: /?ssid= 

Sitemap: http://infoseo.3dn.ru/sitemap.xml 
Sitemap: http://
infoseo.3dn.ru/sitemap-forum.xml 
Sitemap: http://
infoseo.3dn.ru/sitemap-shop.xml


Когда вы создали сайт, то первые 30 дней он будет на карантине и не будет индексироваться.
Robots.txt на карантине выглядит так :

User-agent: * 
Disallow: /


Адрес файла robots.txt следующий - http://адрес_вашего_сайта /robots.txt

Вы находитесь в категории SEO, и прочитали о Robots.txt бесплатно.
Вам было интересно читать о

Robots.txt?

Оставь комментарий ниже.
Категория: SEO | Добавил: Zenum (20.10.2013)
Просмотров: 2462 | Комментарии: 1
Всего комментариев: 1
Jeezy | Комментарий № 1 | Дата: 20.10.2013

Купите премиум и будет вам счастье

Добавлять комментарии могут только зарегистрированные пользователи.
[ Регистрация | Вход ]