WEBLEDI.RUВебледи Форум успешных женщин-вебмастеров
18 Январь 2017, 05:41:12 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.

Войти
Правила Реклама
 
5
10
15
Свежие ответы
от MoreneHost (Хостинг)
от АТВ (Работа и услуги)
от Bukvarix (Сервисы и SEO программы)
от vsemaykiadmin (CPA-сети)
от Irina0408 (Дизайн)
от FreeZe (Покупка-продажа)
от rusrob (Ищу копирайтера, редактора, контент-менеджера)
от rusrob (Контент, копирайтинг, переводы)
от Петрова (Новичку)
от salemed (Социальные сети)
от Holly (Тизерные и баннерные сети)
от vuxaru (Пожелания к администрации форума)
от wellweb (Домены)
от vuxaru (Деловые предложения)
от Lakaire (Продвижение, SEO)
Свежие темы
Показать ещё
  Печать  
Страниц: 1 2
Автор

Тема: Robots.txt Как правильно?  (Прочитано 5410 раз)

0 Пользователей и 1 Гость смотрят эту тему.
Romashka
Offline Offline

Сообщений: 125


Просмотр профиля
« : 10 Ноябрь 2011, 02:43:13 »

Девчонки искала как составить правильно robots.txt, но так однозначного ответа и не нашла. Подскажите правильно ли у меня он составлен. Я думаю очень многих интересует этот вопрос.
Вот мой:
User-agent: Yandex
 Disallow: /cgi-bin
 Disallow: /wp-admin
 Disallow: /wp-includes
 Disallow: /wp-content/plugins
 Disallow: /wp-content/cache
 Disallow: /wp-content/themes
 Disallow: /wp-trackback
 Disallow: /wp-feed
 Disallow: /wp-comments
 Disallow: */trackback
 Disallow: */feed
 Disallow: */comments
 Host: www.roditeli.dn.ua
 
User-agent: *
 Disallow: /cgi-bin
 Disallow: /wp-admin
 Disallow: /wp-includes
 Disallow: /wp-content/plugins
 Disallow: /wp-content/cache
 Disallow: /wp-content/themes
 Disallow: /wp-trackback
 Disallow: /wp-feed
 Disallow: /wp-comments
 Disallow: */trackback
 Disallow: */feed
 Disallow: */comments
 
Sitemap: http://roditeli.dn.ua/sitemap.xml
И еще вопрос в поиске проиндексирована куча бреда. Хочу ее убрать. Прочитала в гугле, что чтобы убрать неправильные url, нужно из прописать в
Robots.txt. А как это сделать? Помогите плиззз.










Записан
Звёздочка
Offline Offline

Пол: Женский
Сообщений: 1556


Терпение и труд все перетрут!


Просмотр профиля
« Ответ #1 : 10 Ноябрь 2011, 11:34:14 »

У меня роботс почти такой же, но имеет больше строчек, я тоже не знала как его составить, слизала у кого-то, не помню у кого Улыбка

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /tag
Disallow: /wp-trackback
Disallow: /category
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*archives*
Host:lady-in-love.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /tag
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /category
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*archives*

Sitemap: http://lady-in-love.ru/sitemap.xml
Записан

Самая удобная биржа копирайтинга с адекватной поддержкой. Здесь можно заказать, выполнить на заказ или продать статью, МК!

Первая тизерная партнерка, куда приняли мой молодой сайт.
Romashka
Offline Offline

Сообщений: 125


Просмотр профиля
« Ответ #2 : 10 Ноябрь 2011, 12:51:25 »

zzvezdochka2005
Спасибочки дарю цветочек Добавлю и себе.
Девочки кто еще что может добавить? Давайте вместе его скорректируем, чтоб другие могли просто взять и вставить себе и не ломали голову пролистывая кучу литературы. танцуют все
Записан
Olsi
Offline Offline

Пол: Женский
Сообщений: 110



Просмотр профиля
« Ответ #3 : 04 Апрель 2012, 23:06:33 »

у меня такой...
и кажется, что все-таки что-то тут лишнее...
После того, как я его добавила, очень много стало исключенных страниц  В замешательстве


User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: */feed
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: lechimsya-sami.su

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: */feed
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Sitemap: http://lechimsya-sami.su/sitemap.xml
Sitemap: http://lechimsya-sami.su/sitemap.xml.gz
Записан

Люблю жизнь!
Vanille
Offline Offline

Пол: Женский
Сообщений: 192



Просмотр профиля
« Ответ #4 : 07 Апрель 2012, 12:44:23 »

Девочки, помогите, пожалуйста.  нужна помощь
Ситуация такая: гугловская реклама у меня на сайте не показывается в некоторых статьях, маячат пустые квадраты и прямоугольники.
Порыскала в гугловском разделе для вебмастеров, обнаружила что индексатор Гугла не может попасть на некоторые страницы сайта. 
И там же совет от гугла: "Если Вы хотите дать нашему индексатору доступ к Вашим страницам, Вы можете сделать это не давая доступ другим индексторам. Скопируйте следующие две строчки в верхнюю часть файла robots.txt:
User-agent: Mediapartners-Google
Disallow:
Это изменение разрешит нашему индексатору просмотреть содержание Ваших страниц и предоставить Вам объявления, "нацеленные" на Ваше содержание."

Я роботс составляла под диктовку.
Сейчас боюсь сделать что-нибудь неправильно. Подскажите две эти строчки добавлять в самом начале, перед "User-agent: Yandex" или в начале второго блока роботса, то есть перед "User-agent: *"?
Записан
liberty
Offline Offline

Пол: Женский
Сообщений: 9


Продвигаю сайты матом


Просмотр профиля WWW
« Ответ #5 : 19 Апрель 2012, 09:03:19 »

Вроде как они вообще не нужны, обратите внимание  читаем на выше указанные примеры.
Записан

уход и размножение
Звёздочка
Offline Offline

Пол: Женский
Сообщений: 1556


Терпение и труд все перетрут!


Просмотр профиля
« Ответ #6 : 19 Апрель 2012, 09:36:51 »

Подскажите, пожалуйста, кто знает! Как закрыть от индексации анонсы, чтобы вот это дело не индексировалось _http://lady-in-love.ru/?cat=3 Мой роботс указан выше. Что там нужно добавить?
Записан

Самая удобная биржа копирайтинга с адекватной поддержкой. Здесь можно заказать, выполнить на заказ или продать статью, МК!

Первая тизерная партнерка, куда приняли мой молодой сайт.
Rivoi
Я - магнит, я притягиваю деньги и успех!!!
Offline Offline

Пол: Женский
Сообщений: 2534


Мечты сбываются !


Просмотр профиля
« Ответ #7 : 19 Апрель 2012, 17:36:16 »

Девочки, помогите, пожалуйста.  нужна помощь
Ситуация такая: гугловская реклама у меня на сайте не показывается в некоторых статьях, маячат пустые квадраты и прямоугольники.
Порыскала в гугловском разделе для вебмастеров, обнаружила что индексатор Гугла не может попасть на некоторые страницы сайта. 
И там же совет от гугла: "Если Вы хотите дать нашему индексатору доступ к Вашим страницам, Вы можете сделать это не давая доступ другим индексторам. Скопируйте следующие две строчки в верхнюю часть файла robots.txt:
User-agent: Mediapartners-Google
Disallow:
Это изменение разрешит нашему индексатору просмотреть содержание Ваших страниц и предоставить Вам объявления, "нацеленные" на Ваше содержание."

Я роботс составляла под диктовку.
Сейчас боюсь сделать что-нибудь неправильно. Подскажите две эти строчки добавлять в самом начале, перед "User-agent: Yandex" или в начале второго блока роботса, то есть перед "User-agent: *"?
Можно в самый конец robots сунуть

Подскажите, пожалуйста, кто знает! Как закрыть от индексации анонсы, чтобы вот это дело не индексировалось _http://lady-in-love.ru/?cat=3 Мой роботс указан выше. Что там нужно добавить?
Disallow: /?cat=
Записан

Wikipedia: Я знаю всё! Google: Я найду всё! ВКонтакте: Я знаю всех! Internet: Без меня вы ничто! Электричество: Молчать, суки!
Nastik
Offline Offline

Сообщений: 15


Просмотр профиля
« Ответ #8 : 20 Апрель 2012, 19:32:23 »

Host: lechimsya-sami.su
Директива хост указывает роботу основное зеркало сайта. Судя по использованию ссылок без www, зеркало как раз с www.
Host:

Какие ещё вопросы по роботс?)
Записан

Туфли и туфельки на сайте -
Mazajka
Всё-равно свой сайт не брошу. потому что он ХОРОШИЙ!
Offline Offline

Пол: Женский
Сообщений: 7411


Уже и аватарку нельзя поставить, какую хочу...


Просмотр профиля
« Ответ #9 : 20 Апрель 2012, 19:37:42 »

Какие ещё вопросы по роботс?)
а настроить поможете? в гугле много сильно страниц, раза в три больше, чем в Яндексе
не бесплатно, естественно Money Money Money
Записан


Звёздочка
Offline Offline

Пол: Женский
Сообщений: 1556


Терпение и труд все перетрут!


Просмотр профиля
« Ответ #10 : 20 Апрель 2012, 20:04:14 »

Disallow: /?cat=
Rivoi, спасибо. Только я все пока не решаюсь изменения вносить... или зря я так
Записан

Самая удобная биржа копирайтинга с адекватной поддержкой. Здесь можно заказать, выполнить на заказ или продать статью, МК!

Первая тизерная партнерка, куда приняли мой молодой сайт.
Rivoi
Я - магнит, я притягиваю деньги и успех!!!
Offline Offline

Пол: Женский
Сообщений: 2534


Мечты сбываются !


Просмотр профиля
« Ответ #11 : 20 Апрель 2012, 20:41:39 »

Rivoi, спасибо. Только я все пока не решаюсь изменения вносить... или зря я так
Чего бояться ? Вносите спокойно
Записан

Wikipedia: Я знаю всё! Google: Я найду всё! ВКонтакте: Я знаю всех! Internet: Без меня вы ничто! Электричество: Молчать, суки!
Olsi
Offline Offline

Пол: Женский
Сообщений: 110



Просмотр профиля
« Ответ #12 : 20 Апрель 2012, 22:31:08 »

Nastik, спасибо большое. дарю цветочек
 поправлю
Записан

Люблю жизнь!
Olsi
Offline Offline

Пол: Женский
Сообщений: 110



Просмотр профиля
« Ответ #13 : 21 Апрель 2012, 17:48:25 »

Host:lady-in-love.ru
Вам, значит, тоже надо прописать с прописать с WWW (как и мне)?
Записан

Люблю жизнь!
Звёздочка
Offline Offline

Пол: Женский
Сообщений: 1556


Терпение и труд все перетрут!


Просмотр профиля
« Ответ #14 : 21 Апрель 2012, 17:50:23 »

Вам, значит, тоже надо прописать с прописать с WWW (как и мне)?
не знаю Непонимающий я Яшке никаких зеркал не указывала в Вебмастере и сайт у меня без www  зареган
Записан

Самая удобная биржа копирайтинга с адекватной поддержкой. Здесь можно заказать, выполнить на заказ или продать статью, МК!

Первая тизерная партнерка, куда приняли мой молодой сайт.
Страниц: 1 2
  Печать  
 
Перейти в:  

| Sitemap