WEBLEDI.RUВебледи Форум успешных женщин-вебмастеров
10 Декабрь 2016, 20:32:39 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.

Войти
Правила Реклама
 
5
10
15
Свежие ответы
Re: Нужны копирайтеры на постоянную работу! от Ируха 1985 (Ищу копирайтера, редактора, контент-менеджера)
Re: Нужны копирайтеры на постоянную работу! от Ируха 1985 (Контент, копирайтинг, переводы)
Re: Требуется помощница по ведению сайта (контент-менеджер) от Клим (Работа и услуги)
Медицинская партнерка с уникальными методиками от sexolog (CPA-сети)
Как рассчитывается итоговый доход Адсенса? от anlw (Google AdSENSE)
Re: Наполнение групп Вконтакте от Posting_i_PIAR (Социальные сети)
Услуга в соц.сетях: поиск аккаунтов по номеру телефона или email. от Max-Payne (Покупка-продажа)
Кем будет востребована информация о благосостоянии клиента? от Max-Payne (Привлечение и удержание посетителей)
Интересен траф от вебмастеров))) от DariaTraffic (Реклама и доход)
Re: Проблема с дизайнером от Mara (Дизайн)
Re: Марафон Спарта от Пузата - Почему я иду от Клим (Обучение сайтостроению, SEO и заработку)
Re: Апа не будет до конца лета? от larisay (Yandex)
Re: Хостинг FairyHosting.com от vladislavd (Хостинг)
Re: как сейчас с высококонкурентной тематикой для новых сайтов? от Ивица (Раскрутка сайтов в поисковиках)
Re: [Анонс] Букварикс: бесплатная программа для быстрого подбора ключевых слов от Bukvarix (Сервисы и SEO программы)
Свежие темы
Показать ещё
  Печать  
Страниц: 1 2
Автор

Тема: Robots.txt Как правильно?  (Прочитано 5396 раз)

0 Пользователей и 1 Гость смотрят эту тему.
Romashka
Offline Offline

Сообщений: 125


Просмотр профиля
« : 10 Ноябрь 2011, 02:43:13 »

Девчонки искала как составить правильно robots.txt, но так однозначного ответа и не нашла. Подскажите правильно ли у меня он составлен. Я думаю очень многих интересует этот вопрос.
Вот мой:
User-agent: Yandex
 Disallow: /cgi-bin
 Disallow: /wp-admin
 Disallow: /wp-includes
 Disallow: /wp-content/plugins
 Disallow: /wp-content/cache
 Disallow: /wp-content/themes
 Disallow: /wp-trackback
 Disallow: /wp-feed
 Disallow: /wp-comments
 Disallow: */trackback
 Disallow: */feed
 Disallow: */comments
 Host: www.roditeli.dn.ua
 
User-agent: *
 Disallow: /cgi-bin
 Disallow: /wp-admin
 Disallow: /wp-includes
 Disallow: /wp-content/plugins
 Disallow: /wp-content/cache
 Disallow: /wp-content/themes
 Disallow: /wp-trackback
 Disallow: /wp-feed
 Disallow: /wp-comments
 Disallow: */trackback
 Disallow: */feed
 Disallow: */comments
 
Sitemap: http://roditeli.dn.ua/sitemap.xml
И еще вопрос в поиске проиндексирована куча бреда. Хочу ее убрать. Прочитала в гугле, что чтобы убрать неправильные url, нужно из прописать в
Robots.txt. А как это сделать? Помогите плиззз.










Записан
Звёздочка
Offline Offline

Пол: Женский
Сообщений: 1556


Терпение и труд все перетрут!


Просмотр профиля
« Ответ #1 : 10 Ноябрь 2011, 11:34:14 »

У меня роботс почти такой же, но имеет больше строчек, я тоже не знала как его составить, слизала у кого-то, не помню у кого Улыбка

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /tag
Disallow: /wp-trackback
Disallow: /category
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*archives*
Host:lady-in-love.ru

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /tag
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /category
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*archives*

Sitemap: http://lady-in-love.ru/sitemap.xml
Записан

Самая удобная биржа копирайтинга с адекватной поддержкой. Здесь можно заказать, выполнить на заказ или продать статью, МК!

Первая тизерная партнерка, куда приняли мой молодой сайт.
Romashka
Offline Offline

Сообщений: 125


Просмотр профиля
« Ответ #2 : 10 Ноябрь 2011, 12:51:25 »

zzvezdochka2005
Спасибочки дарю цветочек Добавлю и себе.
Девочки кто еще что может добавить? Давайте вместе его скорректируем, чтоб другие могли просто взять и вставить себе и не ломали голову пролистывая кучу литературы. танцуют все
Записан
Olsi
Offline Offline

Пол: Женский
Сообщений: 110



Просмотр профиля
« Ответ #3 : 04 Апрель 2012, 23:06:33 »

у меня такой...
и кажется, что все-таки что-то тут лишнее...
После того, как я его добавила, очень много стало исключенных страниц  В замешательстве


User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: */feed
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: lechimsya-sami.su

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: */feed
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: /?feed=
Disallow: /?s=
Sitemap: http://lechimsya-sami.su/sitemap.xml
Sitemap: http://lechimsya-sami.su/sitemap.xml.gz
Записан

Люблю жизнь!
Vanille
Offline Offline

Пол: Женский
Сообщений: 192



Просмотр профиля
« Ответ #4 : 07 Апрель 2012, 12:44:23 »

Девочки, помогите, пожалуйста.  нужна помощь
Ситуация такая: гугловская реклама у меня на сайте не показывается в некоторых статьях, маячат пустые квадраты и прямоугольники.
Порыскала в гугловском разделе для вебмастеров, обнаружила что индексатор Гугла не может попасть на некоторые страницы сайта. 
И там же совет от гугла: "Если Вы хотите дать нашему индексатору доступ к Вашим страницам, Вы можете сделать это не давая доступ другим индексторам. Скопируйте следующие две строчки в верхнюю часть файла robots.txt:
User-agent: Mediapartners-Google
Disallow:
Это изменение разрешит нашему индексатору просмотреть содержание Ваших страниц и предоставить Вам объявления, "нацеленные" на Ваше содержание."

Я роботс составляла под диктовку.
Сейчас боюсь сделать что-нибудь неправильно. Подскажите две эти строчки добавлять в самом начале, перед "User-agent: Yandex" или в начале второго блока роботса, то есть перед "User-agent: *"?
Записан
liberty
Offline Offline

Пол: Женский
Сообщений: 9


Продвигаю сайты матом


Просмотр профиля WWW
« Ответ #5 : 19 Апрель 2012, 09:03:19 »

Вроде как они вообще не нужны, обратите внимание  читаем на выше указанные примеры.
Записан

уход и размножение
Звёздочка
Offline Offline

Пол: Женский
Сообщений: 1556


Терпение и труд все перетрут!


Просмотр профиля
« Ответ #6 : 19 Апрель 2012, 09:36:51 »

Подскажите, пожалуйста, кто знает! Как закрыть от индексации анонсы, чтобы вот это дело не индексировалось _http://lady-in-love.ru/?cat=3 Мой роботс указан выше. Что там нужно добавить?
Записан

Самая удобная биржа копирайтинга с адекватной поддержкой. Здесь можно заказать, выполнить на заказ или продать статью, МК!

Первая тизерная партнерка, куда приняли мой молодой сайт.
Rivoi
Я - магнит, я притягиваю деньги и успех!!!
Offline Offline

Пол: Женский
Сообщений: 2534


Мечты сбываются !


Просмотр профиля
« Ответ #7 : 19 Апрель 2012, 17:36:16 »

Девочки, помогите, пожалуйста.  нужна помощь
Ситуация такая: гугловская реклама у меня на сайте не показывается в некоторых статьях, маячат пустые квадраты и прямоугольники.
Порыскала в гугловском разделе для вебмастеров, обнаружила что индексатор Гугла не может попасть на некоторые страницы сайта. 
И там же совет от гугла: "Если Вы хотите дать нашему индексатору доступ к Вашим страницам, Вы можете сделать это не давая доступ другим индексторам. Скопируйте следующие две строчки в верхнюю часть файла robots.txt:
User-agent: Mediapartners-Google
Disallow:
Это изменение разрешит нашему индексатору просмотреть содержание Ваших страниц и предоставить Вам объявления, "нацеленные" на Ваше содержание."

Я роботс составляла под диктовку.
Сейчас боюсь сделать что-нибудь неправильно. Подскажите две эти строчки добавлять в самом начале, перед "User-agent: Yandex" или в начале второго блока роботса, то есть перед "User-agent: *"?
Можно в самый конец robots сунуть

Подскажите, пожалуйста, кто знает! Как закрыть от индексации анонсы, чтобы вот это дело не индексировалось _http://lady-in-love.ru/?cat=3 Мой роботс указан выше. Что там нужно добавить?
Disallow: /?cat=
Записан

Wikipedia: Я знаю всё! Google: Я найду всё! ВКонтакте: Я знаю всех! Internet: Без меня вы ничто! Электричество: Молчать, суки!
Nastik
Offline Offline

Сообщений: 15


Просмотр профиля
« Ответ #8 : 20 Апрель 2012, 19:32:23 »

Host: lechimsya-sami.su
Директива хост указывает роботу основное зеркало сайта. Судя по использованию ссылок без www, зеркало как раз с www.
Host:

Какие ещё вопросы по роботс?)
Записан

Туфли и туфельки на сайте -
Mazajka
Всё-равно свой сайт не брошу. потому что он ХОРОШИЙ!
Offline Offline

Пол: Женский
Сообщений: 7411


Уже и аватарку нельзя поставить, какую хочу...


Просмотр профиля
« Ответ #9 : 20 Апрель 2012, 19:37:42 »

Какие ещё вопросы по роботс?)
а настроить поможете? в гугле много сильно страниц, раза в три больше, чем в Яндексе
не бесплатно, естественно Money Money Money
Записан


Звёздочка
Offline Offline

Пол: Женский
Сообщений: 1556


Терпение и труд все перетрут!


Просмотр профиля
« Ответ #10 : 20 Апрель 2012, 20:04:14 »

Disallow: /?cat=
Rivoi, спасибо. Только я все пока не решаюсь изменения вносить... или зря я так
Записан

Самая удобная биржа копирайтинга с адекватной поддержкой. Здесь можно заказать, выполнить на заказ или продать статью, МК!

Первая тизерная партнерка, куда приняли мой молодой сайт.
Rivoi
Я - магнит, я притягиваю деньги и успех!!!
Offline Offline

Пол: Женский
Сообщений: 2534


Мечты сбываются !


Просмотр профиля
« Ответ #11 : 20 Апрель 2012, 20:41:39 »

Rivoi, спасибо. Только я все пока не решаюсь изменения вносить... или зря я так
Чего бояться ? Вносите спокойно
Записан

Wikipedia: Я знаю всё! Google: Я найду всё! ВКонтакте: Я знаю всех! Internet: Без меня вы ничто! Электричество: Молчать, суки!
Olsi
Offline Offline

Пол: Женский
Сообщений: 110



Просмотр профиля
« Ответ #12 : 20 Апрель 2012, 22:31:08 »

Nastik, спасибо большое. дарю цветочек
 поправлю
Записан

Люблю жизнь!
Olsi
Offline Offline

Пол: Женский
Сообщений: 110



Просмотр профиля
« Ответ #13 : 21 Апрель 2012, 17:48:25 »

Host:lady-in-love.ru
Вам, значит, тоже надо прописать с прописать с WWW (как и мне)?
Записан

Люблю жизнь!
Звёздочка
Offline Offline

Пол: Женский
Сообщений: 1556


Терпение и труд все перетрут!


Просмотр профиля
« Ответ #14 : 21 Апрель 2012, 17:50:23 »

Вам, значит, тоже надо прописать с прописать с WWW (как и мне)?
не знаю Непонимающий я Яшке никаких зеркал не указывала в Вебмастере и сайт у меня без www  зареган
Записан

Самая удобная биржа копирайтинга с адекватной поддержкой. Здесь можно заказать, выполнить на заказ или продать статью, МК!

Первая тизерная партнерка, куда приняли мой молодой сайт.
Страниц: 1 2
  Печать  
 
Перейти в:  

| Sitemap