WEBLEDI.RUВебледи Форум успешных женщин-вебмастеров
11 Декабрь 2016, 13:55:20 *
Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.

Войти
Правила Реклама
 
5
10
15
Свежие ответы
Re: Качественные статьи по доступным ценам от Oleg10 (Контент, копирайтинг, переводы)
Re: Марафон Спарта от Пузата - Почему я иду от Кукла в бантиках (Обучение сайтостроению, SEO и заработку)
Re: Предоставляю услуги по верстке, программированию и поддержке ваших сайтов от Деверо (Работа и услуги)
Re: Advertur — заработай на своем сайте, размещая RTB рекламу! Официальная группа! от Fantana (Реклама и доход)
Требуется помощник редактора сайта от Клим (Ищу копирайтера, редактора, контент-менеджера)
Re: Размещу качественный контент бесплатно от Mashuly (Обмен ссылками)
Re: Кем будет востребована информация о благосостоянии клиента? от АТВ (Привлечение и удержание посетителей)
Медицинская партнерка с уникальными методиками от sexolog (CPA-сети)
Как рассчитывается итоговый доход Адсенса? от anlw (Google AdSENSE)
Re: Наполнение групп Вконтакте от Posting_i_PIAR (Социальные сети)
Услуга в соц.сетях: поиск аккаунтов по номеру телефона или email. от Max-Payne (Покупка-продажа)
Re: Проблема с дизайнером от Mara (Дизайн)
Re: Апа не будет до конца лета? от larisay (Yandex)
Re: Хостинг FairyHosting.com от vladislavd (Хостинг)
Re: как сейчас с высококонкурентной тематикой для новых сайтов? от Ивица (Раскрутка сайтов в поисковиках)
Свежие темы
Показать ещё
  Печать  
Страниц: 1
Автор

Тема: Помогите,пожалуйста! Новый сайт попал в индекс и вылетел благодаря роботс.тхт  (Прочитано 2874 раз)

0 Пользователей и 1 Гость смотрят эту тему.
oksi
Offline Offline

Сообщений: 528



Просмотр профиля
« : 16 Июнь 2013, 17:08:18 »

В общем такая ситуация. У меня есть новый сайт, он был проиндексирован дня два назад, но почти сразу же все урл со статьями вылетели из индекса. В гугл вебмастерс пишется, что они заблокированы благодаря роботс.тхт.

Вот мой роботс:

User-agent: *
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /author/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Disallow: /*page
Disallow: /2012
Disallow: /2013

User-agent: Mediapartners-Google
Disallow:
 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /author/
Disallow: /tag/
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /*.php
Disallow: /*page
Disallow: /2012
Disallow: /2013

Host: ............

Помогите, пожалуйста, разобраться  Грустный
Записан

Ивица
Offline Offline

Сообщений: 282


Просмотр профиля
« Ответ #1 : 18 Май 2015, 13:14:49 »

похожая ситуация. убитца ап стену

Девочки, кто недавно делился проверенным роботс, не могу сейчас найти по темам.
поделитесь плиз..
тоже какие-то траблы с ним случились.

спасибо.
Записан
prikhodko_eu
Offline Offline

Пол: Женский
Сообщений: 2128



Просмотр профиля
« Ответ #2 : 18 Май 2015, 14:23:40 »

Я делилась, в чем проблема с роботс?
Записан

J77
И создал Бог женщину. Существо получилось вредное, но забавное...
Offline Offline

Пол: Женский
Сообщений: 3757



Просмотр профиля
« Ответ #3 : 18 Май 2015, 14:50:43 »

Какая структура урлов у вас?
Вот этим что вы закрываете:
Disallow: /*?
Disallow: /*?*
Это зачем если сайт новый:
Disallow: /2012
Disallow: /2013
?
Нельзя просто так взять любой роботс и сказать - вот это проверенный и применить его к своему сайту. Есть строки, которые будут совпадать из-за особенностей движка, остальные строки должны закрывать конкретно не нужные вам страницы, их состав будет зависеть от особенностей вашего сайта.
Записан

Краткий план на 2015-16 год: Родить, заработать, переехать.....
Я очень быстро составляю СЯ . А вы?
MaRt
SEO
Offline Offline

Пол: Мужской
Сообщений: 2268



Просмотр профиля
« Ответ #4 : 18 Май 2015, 19:07:24 »

Disallow: /*?*
Disallow: /*?
уберите это и будет все ок
Записан

Портал о недвижимости

Продвижение вашего бизнеса в интернете
dileta10
Не шалю, никого не трогаю...
Offline Offline

Пол: Женский
Сообщений: 984


Я - Лена. Нужно на "Ты".


Просмотр профиля
« Ответ #5 : 18 Май 2015, 23:54:43 »

Вот не хотела вмешиваться, но обратите внимание на дату поста Подмигивающий
Записан

J77
И создал Бог женщину. Существо получилось вредное, но забавное...
Offline Offline

Пол: Женский
Сообщений: 3757



Просмотр профиля
« Ответ #6 : 19 Май 2015, 09:38:47 »

похожая ситуация.
18 Мая 2015, 10:14:49 »
пиво
Записан

Краткий план на 2015-16 год: Родить, заработать, переехать.....
Я очень быстро составляю СЯ . А вы?
Ивица
Offline Offline

Сообщений: 282


Просмотр профиля
« Ответ #7 : 19 Май 2015, 17:13:38 »

Вот не хотела вмешиваться, но обратите внимание на дату поста Подмигивающий

Девочки, ну может для ТС уже не актуально, но по идее зачем дубли темы.
я, задав в поиске - решила просто продолжить аналогичный вопрос.

у меня просто творится сейчас что-то невообразимое.
Цитировать
HTTP-статус: Ресурс не найден (404) ? 25
Документ запрещен в файле robots.txt ? 811?
Документ содержит мета-тег noindex ? 231?

мб эта картинка не дает ничего понять..


но мне кажется, что-то с роботс связано.
изначально был пустой. по совету поставила вот такой.
Цитировать
User-agent: Yandex
Disallow: /ofis/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/backup-f9bcc
Disallow: /wp-content/backups-dropbox
Disallow: /wp-content/cache
Disallow: /wp-content/languages
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/upgrade
Disallow: /comment_tag/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /feed
Disallow: */feed
Disallow: /?feed=
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /cgi-bin
Disallow: /comments
Disallow: */comments
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Disallow: /20*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Allow: /wp-content/uploads
Allow: /author/*

User-agent: *
Disallow: /ofis/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/backup-f9bcc
Disallow: /wp-content/backups-dropbox
Disallow: /wp-content/cache
Disallow: /wp-content/languages
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/upgrade
Disallow: /comment_tag/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /feed
Disallow: */feed
Disallow: /?feed=
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: /cgi-bin
Disallow: /comments
Disallow: */comments
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Disallow: /20*
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php

Allow: /wp-content/uploads

User-agent: Googlebot-Image
Disallow:
Allow: /*

User-agent: Mediapartners-Google*
Disallow:
Allow: /*

Host: www.********
Sitemap: http://www.**********.xml.gz
Sitemap: http://www.**********/sitemap.xml

разобраться самой не подсилу. трафа ноль. страницы выпадают из поиска.
я что-то натворила не то? убитца ап стену
есть ли в нем ошибки, запреты на инд-ю нужных страниц.

спасибо огромное  всем уделившим внимание. дарю цветочек
Записан
prikhodko_eu
Offline Offline

Пол: Женский
Сообщений: 2128



Просмотр профиля
« Ответ #8 : 19 Май 2015, 20:23:15 »

Ивица, я могу ошибаться, но у вас закрыт /2015 , это текущий год, и, возможно, новые записи попадают в эту папку.
Записан

Ивица
Offline Offline

Сообщений: 282


Просмотр профиля
« Ответ #9 : 19 Май 2015, 22:41:17 »

prikhodko_eu, да? ужас какой.. Шокирован
поделились в личке..
спасибо огромное Nadejдарю цветочек
надеюсь на положительные изменения.
Записан
Страниц: 1
  Печать  
 
Перейти в:  

| Sitemap