WEBLEDI.RUВебледи Форум успешных женщин-вебмастеров
11 Декабрь 2016, 17:48:58 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.

Войти
Правила Реклама
 
5
10
15
Свежие ответы
Re: Качественные статьи по доступным ценам от Lita (Контент, копирайтинг, переводы)
Re: Марафон Спарта от Пузата - Почему я иду от Кукла в бантиках (Обучение сайтостроению, SEO и заработку)
Re: Предоставляю услуги по верстке, программированию и поддержке ваших сайтов от Деверо (Работа и услуги)
Re: Advertur — заработай на своем сайте, размещая RTB рекламу! Официальная группа! от Fantana (Реклама и доход)
Требуется помощник редактора сайта от Клим (Ищу копирайтера, редактора, контент-менеджера)
Re: Размещу качественный контент бесплатно от Mashuly (Обмен ссылками)
Re: Кем будет востребована информация о благосостоянии клиента? от АТВ (Привлечение и удержание посетителей)
Медицинская партнерка с уникальными методиками от sexolog (CPA-сети)
Как рассчитывается итоговый доход Адсенса? от anlw (Google AdSENSE)
Re: Наполнение групп Вконтакте от Posting_i_PIAR (Социальные сети)
Услуга в соц.сетях: поиск аккаунтов по номеру телефона или email. от Max-Payne (Покупка-продажа)
Re: Проблема с дизайнером от Mara (Дизайн)
Re: Апа не будет до конца лета? от larisay (Yandex)
Re: Хостинг FairyHosting.com от vladislavd (Хостинг)
Re: как сейчас с высококонкурентной тематикой для новых сайтов? от Ивица (Раскрутка сайтов в поисковиках)
Свежие темы
Показать ещё
  Печать  
Страниц: 1
Автор

Тема: Как правильно должен выглядеть файл robots.txt  (Прочитано 2355 раз)

0 Пользователей и 1 Гость смотрят эту тему.
Зараза
Offline Offline

Пол: Женский
Сообщений: 395



Просмотр профиля
« : 02 Сентябрь 2010, 15:23:05 »

Помогите пожалуйста. Я совсем запуталась. Можно я скопирую, как выглядит у меня файл робот, мне кажется у меня там почти полностью запрещён доступ на форум
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/Disallow: /xmlrpc/
Host: sheknow.ru


User-agent: *

Allow: /forum/*rss
Allow: /forum/*type=rss
Disallow: /forum/attachments/
Disallow: /forum/avatars/
Disallow: /forum/Packages/
Disallow: /forum/Smileys/
Disallow: /forum/Sources/
Disallow: /forum/Themes/
Disallow: /forum/Games/
Disallow: /forum/*.msg
Disallow: /forum/*.new
Disallow: /forum/*sort
Disallow: /forum/*topicseen
Disallow: /forum/*wap
Disallow: /forum/*imode
Disallow: /forum/*action
Disallow: /forum/*prev_next
Disallow: /forum/*all


Если кто знает, что не правильно и почему у меня робот 80% не индексирует, так как говорит что доступ ему закрыт
Записан

Зараза
Offline Offline

Пол: Женский
Сообщений: 395



Просмотр профиля
« Ответ #1 : 03 Сентябрь 2010, 09:14:38 »

Проблема решена. Можно удалить тему
Записан

DMasha
Offline Offline

Пол: Женский
Сообщений: 1151


Просмотр профиля WWW
« Ответ #2 : 03 Сентябрь 2010, 10:48:16 »

Зачем удалять? Пусть сюда пишут все, у кого проблема с robots.txt  Подмигивающий
и вообще никакой полезный контент удалять не надо  танцуют все
Записан

Приглашаю мамочек пообщаться на
Сайт города Пушкина
Женский журнал Эмили
Она самая
Стрелец
Offline Offline

Пол: Женский
Сообщений: 1565



Просмотр профиля
« Ответ #3 : 03 Сентябрь 2010, 12:01:07 »

ну так а решение то проблемы какое?
Записан
DMasha
Offline Offline

Пол: Женский
Сообщений: 1151


Просмотр профиля WWW
« Ответ #4 : 03 Сентябрь 2010, 12:18:51 »

эх, решение проблемы у всех разное... я вот с robots.txt для форума очень долго билась, готового решения не нашла, хотя материалов в инете море. Дошла своим умом, что надо закрыть от индексации архив форума, и только после это пошла хорошая индексация и стала расти посещаемость. А вот насчет индексации моих друпал-сайтов я пока ох-как-не-уверена  убитца ап стену. Скопировала у кого-то попсовый вариант роботса, выложенный на друпал-форуме:))) потом, наверное, все равно дорабатывать придется.
Записан

Приглашаю мамочек пообщаться на
Сайт города Пушкина
Женский журнал Эмили
Зараза
Offline Offline

Пол: Женский
Сообщений: 395



Просмотр профиля
« Ответ #5 : 03 Сентябрь 2010, 12:41:42 »

Я решила проблему с индексацией форума. Оказалось, что у меня в шаблоне стоял метатег на полный запрет индексации, пришлось поменять. А вот как должен в идеале выглядеть робот так и не знаю. Вот к примеру не знаю как закрыть от индексации профили пользователей.
Записан

DMasha
Offline Offline

Пол: Женский
Сообщений: 1151


Просмотр профиля WWW
« Ответ #6 : 03 Сентябрь 2010, 12:43:38 »

а есть там папка типа customprofiles или что-то подобное? если есть, ее и закрывай
Записан

Приглашаю мамочек пообщаться на
Сайт города Пушкина
Женский журнал Эмили
Страниц: 1
  Печать  
 
Перейти в:  

| Sitemap